Controlling lithium-ion batteries through reinforcement learning

Smart Grids are the evolution of the traditional electric grid and allow a two-way flow of electricity and information between different actors. At the edge of this network, consumers can produce energy with photovoltaic panels and satisfy their energy consumption needs autonomously. Due to the intermittent nature of solar energy production, these units are characterized by periods of energy surplus and others of energy deficit. To solve this problem, Lithium-Ion battery packs are used to store energy in excess for later use and reduce expensive energy requests to the electric network. However, these accumulation systems are characterized by a degradation process that reduces their capacity and performance. In this work, we develop a Reinforcement Learning controller optimizing energy management policy by balancing the use of the battery packs and the energy network to reduce economic losses. More specifically, we design a system to learn a storage/consumption strategy able to balance between the degradation of the battery and the economic value of trading energy. The work resulted in a policy allowing to reduce the eco- nomic loss of 15% w.r.t. state-of-the-art controllers.

Le Smart Grid sono l’evoluzione delle reti elettriche tradizionali e permettono un flusso bidirezionale di elettricità e informazione tra diversi attori. Ai confini di questa rete i consumatori sono in grado di produrre energia con pannelli fotovoltaici e soddisfare i propri bisogni energetici. A causa della natura intermittente della produzione di energia solare, queste unità sono caratterizzate da periodi di surplus o deficit di energia. Per risolvere questo problema, pacchi di batterie al Litio vengono usate per conservare l’energia in eccesso per un uso futuro e ridurre scambi energetici costosi con la rete elettrica. Tuttavia, questi sistemi di accumulazione sono caratterizzati da un processo di degradazione che ne riduce la loro capacità massima col passare del tempo. In questo lavoro, viene creato un controllore con un algoritmo di rinforzo per trovare una politica di consumo che generari un profitto economico, tenendo conto del processo di degradazione della batteria, con un aumento del 15% in profitti rispetto allo stato dell’arte.