Predictive control for HEMS: from MPC to hybrid continual Meta-RL

The increasing complexity of residential energy systems, driven by renewables, electric vehicles, thermal storage, and dynamic pricing, has made Home Energy Management Systems (HEMS) central to smart grid operations. This thesis explores the evolution of HEMS control, from classical methods like Rule-Based Control (RBC), PID, and Model Predictive Control (MPC), to modern Reinforcement Learning (RL) techniques. Limitations of standalone methods motivate the development of hybrid architectures that combine MPC’s interpretability and constraint handling with RL’s adaptability and efficiency. Three hybrid schemes are explored: MPC as a deployed policy, as an expert actor, and as a critic. To address system non-stationarities, the thesis also investigates adaptive control architectures and Meta-RL, focusing on Continual Meta Policy Search for lifelong learning. The primary contribution of this thesis is a novel hybrid continual Meta-RL architecture that embeds a parameterized MPC within a Continual Meta-Learning framework. This solution addresses the need for adaptability in residential energy systems, while leveraging the strengths of a hybrid control approach. By bridging classical control theory with modern learning-based methods, this work lays the groundwork for future-ready HEMS architectures that are intelligent, robust, and scalable. As a forward-looking application, the hybrid approach could extended to a Distric Heating (DH) scenario, reflecting the increasing importance of predictive energy optimization at the community level.

La crescente complessità dei sistemi energetici residenziali, guidata dall'integrazione di fonti rinnovabili, veicoli elettrici, sistemi di accumulo termico e tariffazione dinamica, ha reso i Home Energy Management Systems (HEMS) elementi centrali per le operazioni delle smart grid. Questa tesi esplora l'evoluzione delle tecniche di controllo per i HEMS, partendo dai metodi classici come i Rule-Based Controllers (RBC), i controllori Proporzionali-Integrali-Derivativi (PID) e i Model Predictive Controllers (MPC), fino ad arrivare alle moderne tecniche basate su Reinforcement Learning (RL). Le limitazioni intrinseche di questi approcci motivano lo sviluppo di architetture ibride che combinino l’interpretabilità e la gestione dei vincoli proprie del MPC con l’adattabilità e l’efficienza del RL. A tal fine, vengono esplorati tre schemi ibridi: MPC come all'interno della deployed policy, come attore esperto e come critico. Per affrontare la non stazionarietà dei sistemi residenziali, la tesi analizza anche le architetture di controllo adattive e il Meta-Reinforcement Learning (Meta-RL), concentrandosi in particolare sull’innovativa architettura di Continual Meta-RL. Il contributo principale di questo lavoro consiste in una nuova architettura ibrida MPC e Continual Meta-RL, in cui un controller MPC completamente parametrizzato viene aggiornato in tempo reale tramite un algoritmo di Continual Meta Policy Search. Questa soluzione risponde efficacemente all’esigenza di adattabilità dei HEMS, sfruttando i punti di forza già dimostrati dagli approcci di controllo ibrido. Collegando la teoria classica del controllo con i moderni metodi data-driven, questa tesi pone le basi per architetture HEMS del futuro: intelligenti, robuste e scalabili. Come applicazione prospettica, l’approccio ibrido proposto potrebbe essere esteso a scenari di teleriscaldamento (DH), riflettendo la crescente rilevanza dell’integrazione dei sistemi HEMS nelle infrastrutture energetiche comunitarie.