Heating, Ventilation, and Air Conditioning (HVAC) systems in buildings significantly contribute to global energy consumption. Thus, effectively controlling HVAC systems is essential for reducing energy usage and addressing climate change. Controlling the energy efficiency of a building is always challenging, even more if the characteristics of the studied building are not all defined. This situation is very common in old edifices that need a revamping of the control system, because the computation of all the parameters with their uncertainties can be really time consuming. To re-create this state, the Building 25 of the Politecnico di Milano was considered. The type of controller used in this study is the Reinforcement Learning, precisely the Proximal Policy Optimization one. The main idea behind this thesis is to compare the real model of the building with simplified versions of it. Multiple simplified models are created to simulate the uncertainty on the parameters, then each model is compared to the real one to discover which is the best one. The scope of this study is to reduce the range of uncertainty of the chosen parameter until a desirable around is reached. A secondary goal is to develop an algorithm able to improve the control of the temperature of the building, by managing the energy consumption and the comfort of the occupants. The thesis is structured to firstly introduce the reader to the characteristics of the analyzed building, consequently the simplified model is presented, then the principles of the Reinforcement Learning approach are exposed. After this introductive part, the developed algorithm is proposed and the different obtained results are discussed to finally identify the optimal procedure to adopt in these situations. The results of this thesis suggest having a deeper exploration of the potentiality of the presented algorithm, i.e. to use three or more parameters at the same time.

I sistemi di Riscaldamento, Ventilazione e Aria Condizionata (HVAC) negli edifici contribuiscono significativamente al consumo globale di energia. Pertanto, controllare efficacemente i sistemi HVAC è essenziale per ridurre il consumo di energia e affrontare il cambiamento climatico. Controllare l'efficienza energetica di un edificio è sempre una sfida, ancor di più se le caratteristiche dell'edificio studiato non sono tutte definite. Questa situazione è molto comune negli edifici vecchi che necessitano di un rinnovamento del sistema di controllo, poiché il calcolo di tutti i parametri con le loro incertezze può essere davvero dispendioso in termini di tempo. Per ricreare questo stato, è stato considerato l'Edificio 25 del Politecnico di Milano. Il tipo di controllore utilizzato in questo studio è il Reinforcement Learning, precisamente il Proximal Policy Optimization. L'idea principale alla base di questa tesi è confrontare il modello reale dell'edificio con versioni semplificate dello stesso. Vengono creati molteplici modelli semplificati per simulare l'incertezza sui parametri, quindi ciascun modello viene confrontato con quello reale per scoprire quale sia il migliore. Lo scopo di questo studio è ridurre l'intervallo di incertezza del parametro scelto fino a raggiungere un livello desiderabile. Un obiettivo secondario è sviluppare un algoritmo in grado di migliorare il controllo della temperatura dell'edificio, gestendo il consumo energetico e il comfort degli occupanti. La tesi è strutturata per introdurre inizialmente il lettore alle caratteristiche dell'edificio analizzato, successivamente viene presentato il modello semplificato, quindi vengono esposti i principi dell'approccio di Reinforcement Learning. Dopo questa parte introduttiva, viene proposto l'algoritmo sviluppato e discussi i diversi risultati ottenuti per identificare infine la procedura ottimale da adottare in queste situazioni. I risultati di questa tesi suggeriscono di approfondire ulteriormente le potenzialità dell'algoritmo presentato, ovvero utilizzare tre o più parametri contemporaneamente.