Federated reinforcement learning for resource management in the computing continuum: a figaro-based approach

Modern Artificial Intelligence (AI) applications increasingly demand flexible deployment across heterogeneous computing infrastructures, spanning from resource-constrained Edge nodes offering latency minimization to high-capacity Cloud servers that bring superior processing power. Effectively managing the full spectrum of resources in a dynamic, distributed environment, known as the Computing Continuum, requires adaptive strategies for runtime resource allocation and task placement that minimize operational costs and satisfy application-specific Quality of Service (QoS) requirements. This work investigates integrating Federated Reinforcement Learning (FedRL) into FIGARO (reinForcement learnInG mAnagement acRoss computing cOntinuum), an existing framework that leverages a multi-agent hierarchical architecture for runtime task placement and resource allocation across the Computing Continuum. The primary contribution of this thesis is the design and implementation of a federated training mechanism that enables agents, each controlling the resources of a portion of the infrastructure, to collaboratively learn optimal control policies while preserving data locality. Following the Federated Averaging (FedAvg) paradigm, a central aggregator periodically aggregates local model parameters from participating agents to form a global model that, from the transferred knowledge acquired under diverse and heterogeneous operating conditions, provides overall improved performance. The proposed approach is tested across multiple Reinforcement Learning algorithms, demonstrating that, when properly configured, federated training yields more stable and consistent performance across the system compared to independently trained, non-federated agents operating under equivalent conditions.

Le moderne applicazioni di Intelligenza Artificiale (IA) richiedono sempre più un'amministrazione flessibile all'interno di infrastrutture di calcolo eterogenee, che spaziano dai nodi con risorse limitate ai margini della rete, ,capaci di minimizzare la latenza, ai server in cloud ad alta capacità che offrono una potenza di elaborazione superiore. Gestire efficacemente l'intero spettro di risorse in un ambiente dinamico e distribuito, noto come Continuum computazionale, richiede strategie adattive nell'assegnamento delle risorse e nell'allocazione dei compiti durante l'esecuzione, con l'obiettivo di minimizzare i costi operativi e di soddisfare i requisiti di Qualità del Servizio (QoS) specifici delle applicazioni. Questo lavoro investiga l'integrazione dell'apprendimento per rinfornzo federato (FedRL) in FIGARO (reinForcement learnInG mAnagement acRoss computing cOntinuum), un framework esistente che sfrutta un'architettura multi-agente gerarchica per coordinare risorse e componenti delle applicazioni nel Continuum computazionale in tempo reale. Il contributo principale di questa tesi è la progettazione e l'implementazione di un meccanismo di addestramento federato che consente agli agenti, ciascuno responsabile del controllo delle risorse di una porzione dell'infrastruttura, di apprendere collaborativamente politiche di controllo ottimali preservando al contempo la località dei dati. Seguendo il paradigma della media federata (FedAvg), un'entità centrale raccoglie periodicamente i parametri dei modelli dagli agenti locali, che contribuiscono a formare un modello globale che, grazie alla conoscenza acquisita in condizioni operative eterogenee, garantisce prestazioni complessivamente migliori. L'approccio proposto viene testato con diversi algoritmi, dimostrando che, se opportunamente configurato, l'addestramento federato produce risutati più stabili nell'interezza del sistema rispetto ad agenti addestrati in modo indipendente e non federato che operano in condizioni equivalenti.