Integrated model predictive control and reinforcement learning for building energy efficiency

Global energy consumption has received significant attention in recent years, leading to the creation of new regulations and the acceptance of different green energy sources, creating a tough environment for building energy control. Due to its excellent performance in large-scale applications, Model Predictive Control (MPC) is one of the most extensively used strategies in this sector; nevertheless, like any control algorithm, it has weaknesses with unmodeled dynamics and parameters uncertainties, for which some solutions are provided in this thesis through a machine learning approach, in this case, RL (Reinforcement Learning) more specifically with an AC (Actor-Critic) architecture. This work is structured to give the reader a background in building control and modeling techniques to understand the reference and simplified model of building 25 of the Politecnico di Milano. Starting from this point, the design of the MPC controller is presented, and how to implement it together with RL. Finally, different performance tests are carried out to demonstrate the increase in the robustness of the control algorithm and how the proposed strategy is applied to complex study cases such as this medium-sized building.

Il consumo globale di energia ha ricevuto un'attenzione significativa negli ultimi anni, portando alla creazione di nuove normative e all'accettazione di diverse fonti di energia verde, creando un ambiente difficile per il controllo energetico degli edifici. Grazie alle sue eccellenti prestazioni in applicazioni su larga scala, il Model Predictive Control (MPC) è una delle strategie più utilizzate in questo settore; tuttavia, come ogni algoritmo di controllo, presenta dei punti deboli con le dinamiche non modellizzate e le incertezze dei parametri, per i quali in questa tesi vengono fornite alcune soluzioni attraverso un approccio di Machine Learning, in questo caso, RL (Reinforcement Learning) più specificamente con un'architettura AC (Actor-Critic). Questo lavoro è strutturato in modo da fornire al lettore un background sulle tecniche di controllo e modellazione degli edifici per comprendere il modello di riferimento e semplificato dell'edificio 25 del Politecnico di Milano. A partire da questo punto, viene presentata la progettazione del controllore MPC, e come implementarlo insieme a RL. Infine, vengono eseguiti diversi test di performance per dimostrare l'aumento della robustezza dell'algoritmo di controllo e l'applicazione della strategia proposta a casi di studio complessi. Strategia proposta sia applicata a casi di studio complessi come questo edificio di medie dimensioni.