Approximate dynamic programming techniques for microgrid energy management

Lately, the exploitation of renewable resources has been growing significantly. The consequent increase in the decentralization of power generation systems is calling for the redesign of the current electric grid, which should move from a centralized architecture, where energy is produced in few big electric power plants and then delivered to consumers, to a distributed one, where users play the two-fold role of consumers and producers and energy flows are bidirectional. The introduction of small autonomous local grid (the “microgrids”) connected to the main distribution grid partly simplifies the problem, decomposing it into two sub-problems: the management of a single microgrid and that of a grid of microgrids. This thesis focuses on the energy management problem for a microgrid, which consists in minimizing its energy consumption costs. This goal can be pursued by suitably operating the microgrid components, that is: loads (buildings comprising lighting, heating and air conditioning systems and, possibly, also manufacturing systems), generators (based on renewable or conventional energy sources), and energy storage units (e.g. thermal energy storage or high capacitance batteries). Cost reduction strategies should anyway guarantee some expected level of performance for the system, such as, for example, adequate ambient conditions in terms of temperature and humidity for the occupants in a building. Two simple microgrid configurations are analyzed in this work. In the first one, neither power generation nor energy storage units are present and the model includes as main components a chiller plant with two chillers and a cooling load representing a building, affected by a stochastic disturbance given by the number of its occupants during the day. In the second one, a cold thermal storage is integrated in the system. Despite the limited number of components, both configurations show the key features that characterize a microgrid model: continuous and discrete dynamics, stochastic uncertainty, and the presence of constraints on the state. These features make the energy management problem challenging to solve. The problem is formulated as a stochastic optimal control problem with constraints, where the objective is to determine an optimal feedback policy that minimizes the energy costs spent over some look-ahead time horizon. The problem is then decomposed into two phases: The first phase involves solving the optimal chiller plant scheduling problem, which consists in splitting the cooling power requested to the chiller plant between the chillers so as to reduce the electric power request to the main grid. This reduces to a static nonlinear optimization problem. The second phase involves optimizing the cooling power requested to the chiller plant, which should be kept operating in high efficiency conditions, thus reducing the electric energy consumption. This is achieved by modulating the building temperature set point of some small amount not to cause discomfort, and by using the thermal storage, if present, to release or accumulate the difference between the cooling load demand and the cooling power provided by the chiller plant. The second phase can be reduced to a dynamic programming problem for a discrete time stochastic hybrid system, which then requires suitable approximate dynamic programming (ADP) techniques to be solved, due to the presence of continuous state variables and of stochastic uncertainty. Two ADP solutions are proposed: the first one is based on the certainly equivalence approach and on state space gridding, whereas the second one is based on a controlled Markov chain abstraction of the system. In both cases, the computation of the optimal policy requires simulating the system modeling the microgrid. Numerical examples referring to both the microgrid configurations illustrate the results achieved with both the ADP solutions. As for the contribution of this thesis, the developed techniques appears innovative, not only from the perspective of the application, but also from a methodological viewpoint, given that only a few results are available in literature on the optimal control and the finite abstraction of stochastic hybrid systems.

L’utilizzo sempre più diffuso di fonti di energie rinnovabili e la conseguente decentralizzazione dei sistemi di generazione dell’energia richiedono una riprogettazione del sistema di gestione della rete elettrica, che da centralizzato e unidirezionale (trasporto dell’energia da poche grandi centrali di generazione agli utenti consumatori) deve diventare distribuito e supportare flussi energetici bidirezionali da parte degli utenti che svolgono ora il duplice ruolo di consumatori/produttori. La nascita di piccole reti autonome locali “microgrid” connesse alla rete di distribuzione globale semplifica in parte il problema, in quanto consente di accorpare sottoparti del sistema, e di scomporre il problema di gestione della rete in quello di gestione della singola microgrid e di gestione della rete di microgrid. In questa tesi, si affronta uno specifico problema di gestione che si presenta nell’ambito di una microgrid, e cioè la minimizzazione dei costi relativi al consumo di energia. Questo obiettivo può essere perseguito attraverso un’opportuna gestione delle varie unità presenti nelle microgrid: carichi (edifici con i loro sistemi di illuminazione, riscaldamento e condizionamento, ed eventualmente anche con apparecchiature di produzione), generatori (che sfruttano fonti di energia convenzionale e non), e sistemi di accumulo dell’energia (come batterie che possono sopperire alla discontinuità nella produzione di energia da fonti rinnovabili, piuttosto che dispositivi di accumulo di energia termica). La riduzione dei costi deve essere ovviamente subordinata al mantenimento di un livello adeguato di prestazione del sistema, valutato per esempio in termini di comfort delle condizioni ambientali all’interno di un edificio. In questo lavoro sono state analizzate due configurazioni piuttosto semplici di microgrid. Nella prima configurazione non sono presenti unità di generazione e immagazzinamento dell'energia, ma solo un carico rappresentato dall'impianto di condizionamento di un edificio che deve essere mantenuto ad una certa temperatura ed è soggetto ad un disturbo stocastico rappresentato dal profilo nell’arco della giornata dei suoi occupanti; mentre nella seconda configurazione viene integrata un’unità di immagazzinamento di energia termica per il raffreddamento (cold thermal storage). Nonostante il numero limitato di componenti, entrambe le configurazioni presentano le caratteristiche salienti che si riscontrano in una microgrid, più precisamente, la presenza di dinamiche sia continue che discrete, di disturbi stocastici, e di vincoli sullo stato, che rendono il problema di gestione ottima dei consumi energetici difficile ma al tempo stesso interessante da affrontare. Il problema della gestione ottima energetica viene formulato come un problema di controllo ottimo stocastico vincolato in cui si cerca la legge di feedback sullo stato che minimizza i consumi energetici. Tale problema può essere decomposto in due fasi. La prima fase consiste nel determinare la ripartizione ottima della potenza refrigerante richiesta all’impianto di condizionamento tra le sue unità componenti in modo da ridurre la potenza elettrica complessiva richiesta alla rete di distribuzione esterna. Questa prima fase si riduce alla soluzione di un problema di ottimizzazione statica non lineare. La seconda fase consiste nell’ottimizzazione della potenza refrigerante richiesta all’impianto di condizionamento, mirata a farlo funzionare a livelli di efficienza elevati e con consumi di potenza elettrica ridotti. La potenza refrigerante in questione può essere modulata variando il set point di temperatura all’interno dell’edificio (seppure di una quantità limitata per mantenere un livello adeguato di comfort) e, nel caso tale elemento sia presente, utilizzando il cold thermal storage che viene quindi caricato/scaricato per mantenere l’impianto di condizionamento ad operare nelle condizioni di massima efficienza. La seconda fase può essere ricondotta ad un problema di programmazione dinamica per un sistema ibrido stocastico a tempo discreto, la cui soluzione necessita di ricorrere a tecniche di programmazione dinamica approssimata a causa della presenza delle variabili di stato continue e del disturbo stocastico. Le tecniche qui proposte sono due e si basano, la prima sull’utilizzo del principio di equiparazione alla certezza e della grigliatura dello spazio di stato, mentre la seconda sull’astrazione del sistema ibrido stocastico ad una catena di Markov controllata. In entrambi i casi il calcolo della politica ottima si avvale della simulazione del sistema che modellizza la microgrid. Nella tesi vengono riportati esempi numerici per mostrare i risultati ottenibili con le due tecniche di programmazione dinamica approssimata in entrambe le configurazioni della microgrid. Per quanto riguarda il contributo di questa tesi, le tecniche sviluppate si possono considerare innovative non solo da un punto di vista applicativo ma anche da quello metodologico, dato il numero limitato di risultati in letteratura sul controllo ottimo e sull’astrazione a modelli discreti di sistemi ibridi stocastici.