Use of reinforcement learning for voltage regulation in medium voltage distribution networks

Electrical distribution systems have been experiencing significant changes under the pressure of the energy transition phenomena. The massive integration of renewable energy sources (RES) combined with electrification process introduces new challenges in the management of distribution networks. The conventional control strategies adopted by distribution system operators (DSOs) may not be any longer sufficient to avoid power quality issues. An efficient voltage regulation at the network busses is one of the main challenges in distribution systems with increasing complexity and variability. Optimal power flow (OPF) models rely on accurate and complete models of the network; hence they can be hardly used in practical applications. Innovative solutions aimed at optimizing the control of complex problems starting from historical data, instead of from a detailed system model, have been growing as a result of rapid developments in artificial intelligence (AI) and machine learning (ML) fields. In this thesis, developed in collaboration with RSE (Ricerca sul Sistema Energetico), a Q-learning algorithm (a reinforcement learning -RL- technique) is proposed to control the tap-setting of the on load tap changer (OLTC) installed in primary substation. The ultimate goal is to maintain voltage magnitudes at all busses of the medium voltage (MV) distribution network within a safe range, optimizing OLTC operations simultaneously. In the first stage, the automatic voltage regulator (AVR) will learn the effect of choosing a specific tap-setting when a certain combination of voltages has been measured at nodes considered critical. Performances of the trained agent will be subsequently evaluated by testing the quality of the control in new and different network conditions. As case study, the effectiveness of the algorithm is assessed using the MV distribution network of Vobarno, managed by Unareti. The ability of Q-learning model to control bus voltages is tested under two network scenarios, both present and future, characterised by significant levels of variability and uncertainty. Outcomes show that the proposed model is suitable to optimize voltage regulation in distribution grids using a data-driven approach.

Le reti di distribuzione dell’energia elettrica stanno subendo profondi cambiamenti sotto la spinta della transizione energetica. L’integrazione massiccia di fonti di energia rinnovabile (FER) combinata all’elettrificazione dei consumi introduce nuove sfide nella gestione delle reti di distribuzione. Le soluzioni convenzionalmente adottate dai distributori di energia (DSO) potrebbero presto non essere più sufficienti a evitare problemi nella qualità della fornitura. Una regolazione efficiente della tensione sui nodi della rete rappresenta una delle principali sfide in sistemi caratterizzati da una crescente complessità e variabilità. Modelli di ottimizzazione dei flussi di potenza (OPF) sono difficilmente utilizzabili in applicazioni reali perché si basano su modelli precisi e completi della rete. Con i recenti sviluppi nel campo dell’intelligenza artificiale (AI) e del machine learning (ML) sono state implementate soluzioni innovative per ottimizzare il controllo di problemi complessi, partendo da dati storici, anziché dal modello dettagliato del sistema. Nella presente tesi, sviluppata in collaborazione con RSE (Ricerca sul Sistema Energetico), viene proposto un algoritmo di Q-learning, una tecnica di reinforcement learning (RL), atto a controllare il rapporto spire del variatore sotto carico (VSC) installato in cabina primaria. Lo scopo ultimo è di mantenere la tensione a tutti i nodi della rete di media tensione (MT) entro un intervallo di sicurezza, ottimizzando le operazioni del VSC. In una prima fase, il regolatore automatico di tensione (AVR) capirà l’effetto di scegliere una specifica posizione del trasformatore quando una determinata combinazione di tensioni viene misurata a dei nodi considerati critici. Quanto imparato in maniera automatica durante questa prima fase di allenamento verrà successivamente accertato, testando la qualità del controllo in condizioni nuove e diverse della rete. Come caso di studio, l’efficacia dell’algoritmo viene valutata utilizzando la rete MT di Vobarno, gestita da Unareti. La capacità del sistema Q-learning di controllo della tensione viene testata in due scenari, uno presente e uno futuro, caratterizzati da un notevole livello di variabilità e incertezza. I risultati dimostrano che il modello proposto è efficace per ottimizzare la regolazione di tensione utilizzando un approccio data-driven.