Development and evaluation of WCET benchmarks for probabilistic real-time approaches

The accurate estimation of the Worst-Case Execution Time (WCET) is essential when dealing with hard Real-Time systems, in particular when they execute mission-critical or safety-critical applications. Traditional static methods for its computation are, however, not efficient when used on modern hardware architectures, especially in multi-core and many-core CPUs. In this scenario, a promising solution is represented by Probabilistic Timing Analysis, aiming at determining the probabilistic-WCET. Current WCET benchmark suites have been developed mainly for static analyses, lacking information needed to test probabilistic techniques. This thesis recaps the currently available WCET benchmarks, with an in-depth analysis of their statistical characteristics, focusing, in particular, on probabilistic-WCET properties. Then, we propose possible modifications to these benchmarks to improve the applicability with probabilistic real-time, as well as novel benchmarks created from scratch. Several experiments, executed on a STM32L010RB microcontroller and a Raspberry PI 4, assess the predictability of the benchmarks in different configurations, allowing us to draw advice to be used in future academic works and industrial applications.

Un'accurata stima del Worst-Case Execution Time (WCET) è essenziale quando si ha a che fare con sistemi hard Real-Time, in particolar modo quando questi eseguono applicazioni di tipo mission-critical o safety-critical. Tuttavia, i tradizionali metodi di calcolo non sono efficienti se utilizzati con le più moderne architetture hardware, specialmente su CPU multi-core e many-core. In questi casi, una soluzione promettente è rappresentata dalla Probabilistic Timing Analysis, il cui obiettivo è la determinazione del probabilistic-WCET. Le attuali suites di benchmarks per il WCET sono state sviluppate principalmente per l'analisi statica e mancano quindi di informazioni necessarie a testare le tecniche probabilistiche. Questa tesi riepiloga i benchmarks per il WCET attualmente esistenti, con un'analisi specifica delle loro caratteristiche statistiche, concentrandosi, in particolare, sulle proprietà relative al probabilistic-WCET. In seguito, proponiamo possibili modifiche ai benchmarks, per migliorare la loro applicabilità alle tecniche di probabilistic real-time, insieme a benchmarks creati interamente da zero. Diversi esperimenti, condotti su un microcontrollore STM32L010RB e su una Raspberry PI 4, valutano la predicibilità dei benchmarks con diverse configurazioni, permettendoci di definire alcune linee guida da usare per la futura ricerca accademica e per l'applicazione industriale.