Scalable power network control with reinforcement learning

Climate is undergoing a severe crisis. Ecosystems are collapsing, global temperature is rising, and extreme atmospheric phenomena are more frequent than ever. Renewable and low-carbon forms of energy represent the only way out of the climate crisis. Solar and wind generators have unpredictable energy generation patterns as their production depends on the weather. Integrating such generators with the power grid poses significant challenges. Artificial intelligence (AI) may help grid operators tackle these new challenges. To foster new AI solutions, RTE (Réseau de Transport d'Electricité) has been organizing the "Learning To Run a Power Network" (L2RPN) challenge. The power network control problem is cast in the Reinforcement Learning (RL) framework. An RL agent observes the state of the power network and takes action based on the current observation and previous experience to maximize the cumulative sum of a scalar reward signal. Our solution is a novel hierarchical multi-agent RL model. A set of agents deals with local neighborhoods of the network, a small number of managers filters their decision, and a head manager selects one of the managers' decisions. The hierarchy is dynamically generated given the grid topology and updated while learning. We test our solution on two increasingly complex networks and show performance superior to a challenging expert system. Our results demonstrate the feasibility of multi-agent power network control bridging the general power network literature and the L2RPN challenge community. To foster new AI solutions, RTE (Réseau de Transport d'Electricité) has been organizing the "Learning To Run a Power Network" (L2RPN) challenge since 2019. The power network control problem is cast in the Reinforcement Learning (RL) framework. An RL agent observes the state of the power network and takes action based on the current observation and previous experience to maximize the cumulative sum of a scalar reward signal. Our solution is a novel hierarchical multi-agent RL model. A set of agents deals with local neighborhoods of the network, a small number of managers filters their decision, and a head manager selects one of the managers' decisions. The hierarchy is dynamically generated given the grid topology and updated while learning. We test our solution on two increasingly complex networks and show performance superior to a challenging expert system. Our results demonstrate the feasibility of multi-agent power network control bridging the general power network literature and the L2RPN challenge community.

Stiamo attraversando una crisi climatica senza precedenti. Gli ecosistemi stanno collassando, la temperatura sta aumentando e fenomeni atmosferici estremi sono sempre più frequenti. Le energie rinnovabili e a basso impatto ambientale rappresentano l'unica via d'uscita. I generatori solari e quelli eolici hanno andamenti imprevedibili data la loro dipendenza dalle condizioni meteorologiche. L'intelligenza artificiale (IA) può aiutare gli operatori di rete ad affrontare queste nuove sfide. Per incentivare nuove soluzioni basate sull'IA, l'RTE (Réseau de Transport d’Electricité) organizza dal 2019 delle competizioni, denominate "Learning to Run a Power Network" (L2RPN). Il problema di controllo della rete viene specificato in queste competizioni come un problema di Apprendimento per Rinforzo (AR). Un agente di AR osserva lo stato della rete elettrica e compie un'azione basata sullo stato corrente della rete e sulle sue passate esperienze, in modo da massimizzare la somma cumulata di un segnale di rinforzo. La nostra soluzione è un nuovo modello gerarchico multi-agente di AR. Un insieme di agenti gestisce il grafo localmente, un piccolo numero di gestori filtra le loro decisioni e, infine, un direttore seleziona una delle decisioni proposte dai gestori. La gerarchia viene generata dinamicamente sulla base della topologia di rete e viene aggiornata durante l'apprendimento. La bontà del modello viene valutata in due ambienti di dimensione e complessità crescenti, dimostrando performance superiori a un sistema esperto particolarmente sfidante. I nostri risultati dimostrano l'applicabilità dei sistemi multi-agente alla gestione di reti elettriche. Col nostro lavoro vogliamo a creare un ponte tra i precedenti lavori sullla gestione automatica di reti elettriche e la comunità scientifica cresciuta intorno a L2RPN. Per incentivare nuove soluzioni basate sull'IA, l'RTE (Réseau de Transport d’Electricité) organizza dal 2019 delle competizioni, denominate "Learning to Run a Power Network" (L2RPN). Il problema di controllo della rete viene specificato in queste competizioni come un problema di Apprendimento per Rinforzo (AR). Un agente di AR osserva lo stato della rete elettrica e compie un'azione basata sullo stato corrente della rete e sulle sue passate esperienze, in modo da massimizzare la somma cumulata di un segnale di rinforzo. La nostra soluzione è un nuovo modello gerarchico multi-agente di AR. Un insieme di agenti gestisce il grafo localmente, un piccolo numero di gestori filtra le loro decisioni e, infine, un direttore seleziona una delle decisioni proposte dai gestori. La gerarchia viene generata dinamicamente sulla base della topologia di rete e viene aggiornata durante l'apprendimento. La bontà del modello viene valutata in due ambienti di dimensione e complessità crescenti, dimostrando performance superiori a un sistema esperto particolarmente sfidante. I nostri risultati dimostrano l'applicabilità dei sistemi multi-agente alla gestione di reti elettriche. Col nostro lavoro vogliamo a creare un ponte tra i precedenti lavori sullla gestione automatica di reti elettriche e la comunità scientifica cresciuta intorno a L2RPN.