QRRMS : a Q-learning-based runtime resource management system

In the last years the trend in microprocessor design has shifted towards parallel architectures, such as multi/many-core and heterogeneous systems. This kind of architectures has been generally employed in mobile and embedded appliances, such as smartphones, tablets and infotainment appliances. These appliances are designed to execute a very dynamic flow of application, characterized by different arrival times, data and computation requirements. At the same time, these architectures are increasingly affected by aging and wear-out mechanisms, such as time dependent dielectric breakdown (TDDB), negative bias temperature instability (NBTI), and electromigration (EM), that can lead to delay errors and device breakdowns. In order to deal with aging issues and, at the same time, the workload variability, it becomes mandatory to adapt a Runtime Resource Management System (RRMS) that dynamically decides where to dispatch running applications to try to guarantee a certain level of performance, and at the same time optimize the architecture lifetime reliability. This thesis proposes the design of a new framework for the runtime resources management for heterogeneous multiprocessor systems, called RRMS, where it is possible to integrate specific management decisions. In particular, novel a strategy for runtime application mapping for heterogeneous systems based on Reinforcement Learning (RL) aiming at satisfying architectural lifetime reliability requirements and applications’ performance ones is here proposed. The novel solution demonstrates an improvement of the ability to meet application performance of 25% with only applications’ performance requirement with respect the most similar state-of-the-art approach, and of 22% when it is also required to find the trade-off with system lifetime reliability.

Negli ultimi anni la tendenza nel design dei microprocessori si è spostata verso le architetture parallele, come ad esempio multi/many-core e sistemi eterogenei. Generalmente questo tipo di architetture sono impiegate in apparecchi mobile ed embedded, come smartphone, tablet e apparecchi di infotainment. Questi sono progettati per eseguire un flusso molto dinamico di lavoro, caratterizzato da diversi arrival time, dati e requisiti di calcolo. Allo stesso tempo, queste architetture sono sempre più influenzate da invecchiamento e meccanismi di usura, come il time dependent dielectric breakdown (TDDB), negative bias temperature instability (NBTI), e elettromigrazione (EM), che possono portare a errori dovuti a ritardi e guasti. Per affrontare le questioni relative all’invecchiamento e contemporaneamente il carico di lavoro dinamico, diventa obbligatorio adattare un sistema di gestione runtime Resource (RRMS) che capace di decidere dinamicamente come assegnare le applicazioni in esecuzione, per cercare di garantire un certo livello di prestazioni, e al contempo ottimizzare l’affidabilità dell’architettura. Questa tesi propone il design di un nuovo framework per la gestione di risorse runtime su sistemi multiprocessore eterogenei, chiamati RRMS, in cui è possibile integrare specifiche direttive di gestione. In particolare, è stata proposta una nuova strategia, basata su Reinforcement Learning (RL), per la mappatura runtime delle applicazioni su sistemi eterogenei, volta a soddisfare i requisiti di affidabilità e di tempo di vita architetturali, e quelli di prestazioni delle applicazioni. Tale soluzione mostra un miglioramento nella capacità di soddisfare i requisiti di prestazione delle applicazioni del 25% rispetto all’approccio più simile nello stato dell’arte, e del 22% quando è necessario anche trovare un trade-off con l’affidabilità del sistema.