Enhancing energy flexibility in electric vehicle charging stations using reinforcement learning

As the world shifts towards cleaner energy, the integration of renewable energy sources (RES) poses new challenges for grid stability due to its variable nature. This increased dependence on RES has led to the concept of grid flexibility as a means to maintain equilibrium between supply and demand. Electric Vehicle (EV) charging stations offer a promising avenue to enhance grid flexibility by dynamically adjusting their energy consumption. However, most existing literature focuses on optimizing EV charging to minimize costs rather than maximizing flexibility. This thesis proposes a reinforcement learning (RL)-based framework to optimize EV charging stations, emphasizing the role of flexibility. By incorporating flexibility into the EV charging model, various RL methods are trained and evaluated using a customized simulation environment. This simulator, built on top of EV2Gym, has been enhanced to include economical rewards when providing flexibility. The performance of the selected RL solutions is compared with Model Predictive Control (MPC) approaches, focusing on cost minimization and flexibility maximization. The results demonstrate that RL agents can achieve a balance between economic viability and enhanced flexibility, although cannot outperform MPC when forecasted data about EV arrival and electricity prices are completely accurate. These findings indicate that RL may offer a viable alternative for managing EV charging stations when the forecast of said data is uncertain or not available.

Con il passaggio globale verso un'energia più pulita, l'integrazione delle fonti di energia rinnovabile introduce nuove sfide per la stabilità della rete a causa della loro natura variabile. Questa dipendenza dalle fonti rinnovabile ha messo in evidenza la necessità di flessibilità della rete per mantenere un equilibrio tra domanda e offerta. Le stazioni di ricarica per veicoli elettrici (EV) rappresentano una promettente soluzione al fine di migliorare la flessibilità della rete, regolando dinamicamente il loro consumo energetico. Tuttavia, gli studi esistente si concentrano principalmente sull'ottimizzazione della ricarica dei veicoli elettrici per ridurre i costi, piuttosto che massimizzare la flessibilità. Questa tesi propone un framework basato sull’apprendimento per rinforzo (RL) per ottimizzare le stazioni di ricarica per EV, con un’enfasi sulla flessibilità. Incorporando la flessibilità nel modello di ricarica EV, sono stati allenati e valutati diversi metodi di RL tramite un ambiente di simulazione personalizzato. Questo simulatore, basato su EV2Gym, è stato migliorato per includere ricompense economiche per la fornitura di flessibilità. Le soluzioni RL selezionate sono state confrontate con approcci di Model Predictive Control (MPC), concentrandosi sia sulla riduzione dei costi sia sulla massimizzazione della flessibilità. I risultati dimostrano che gli agenti RL possono bilanciare la redditività economica con una maggiore flessibilità; tuttavia, non superano l'MPC quando sono disponibili previsioni precise sugli arrivi degli EV e sui prezzi dell'energia. Questi risultati suggeriscono che l'RL offre un’alternativa valida per la gestione delle stazioni di ricarica EV in scenari in cui le previsioni dei dati siano incerte o non disponibili.