Empowering digital twins for battery energy storage systems with Machine Learning: design, development and applications of the framework

The global transition toward sustainable energy solutions heavily relies on the widespread deployment of energy storage systems. By mitigating the intermittency of renewable energy sources, batteries have become the cornerstone of modern, decentralized power grids. Essentially, batteries act as energy buffers, storing excess renewable generation and discharging to meet demand when generation falls short. However, optimizing their performance, safety, and longevity remains a critical challenge with profound implications for the entire energy ecosystem. In this context, digital twins have emerged as a transformative paradigm. By bridging the physical and digital worlds, digital twins provide high-fidelity virtual replicas of real-world systems, enabling risk-free what-if simulations and extensive offline analysis. Furthermore, when coupled with recent advancements in machine learning, digital twins unlock unprecedented capabilities for real-time monitoring and autonomous control, leveraging a virtually unlimited supply of simulated data. In this dissertation, we explore the intersection of digital twins and the energy storage domain, with a particular focus on integrating advanced machine learning techniques to enhance system monitoring and control. Specifically, we investigate the adoption of a digital twin for a battery storage system, spanning from its core design and implementation to its application across multiple replicas to simulate a renewable energy community. Within this framework, machine learning serves as a pivotal component applied in three distinct forms. First, we employ unsupervised learning and drift detection techniques to enable the digital twin to dynamically adapt to the evolving physical conditions of the battery. Second, we frame the energy management problem of a microgrid as a Markov Decision Process, adopting a reinforcement learning approach to optimize the battery's operational policy. Finally, we extend the analysis to a renewable energy community, proposing a novel multi-agent approach to drive the behavior of self-interested community members toward global cooperation and coordination. The proposed methodologies are rigorously validated through an extensive experimental campaign using real-world datasets, facilitated by the collaboration with RSE S.p.A., a leading Italian research institution in the energy sector. Ultimately, this research aims to contribute to the advancement of the energy field by demonstrating the immense potential of integrating digital twins with learning systems to foster a more efficient, sustainable, and resilient energy future.

La transizione globale verso soluzioni energetiche sostenibili si sta dimostrando fortemente legata alla diffusione capillare di sistemi di accumulo. Riuscendo a mitigare la natura intermittente delle fonti energetiche rinnovabili, le batterie sono diventate un pilastro fondamentale delle moderne reti elettriche sempre più decentralizzate. Di fatto, questi dispositivi fungono da veri e propri buffer energetici, immagazzinando energia derivata dalla generazione rinnovabile in eccesso, per poi scaricarsi e soddisfare la domanda quando la produzione risulta insufficiente. Tuttavia, l'ottimizzazione delle prestazioni, della sicurezza e della longevità delle batterie rimane una sfida cruciale, la cui rilevanza impatta l'intero ecosistema energetico. In questo contesto, i digital twin (gemelli digitali) si sono affermati come un paradigma fortemente trasformativo. Andando a connettere il mondo fisico con quello digitale, i digital twin si presentano come repliche virtuali altamente accurate dei sistemi reali, consentendo simulation what-if in situazioni di rischio che comprometterebbero il sistema fisico e approfondite analisi offline. Inoltre, la loro integrazione con i recenti progressi nel campo del Machine Learning li fornisce di capacità senza precedenti per il monitoraggio in tempo reale e il controllo autonomo, grazie anche alla disponibilità virtualmente illimitata di dati simulati su cui addestrare i modelli. In questa tesi esploreremo l'intersezione tra i digital twin e i sistemi energetici, con un focus particolare sull'utilizzo di tecniche avanzate di Machine Learning per migliorare il monitoraggio e il controllo del sistema. Nello specifico, ci concentreremo su un digital twin di un sistema di accumulo, partendo dalla fase di progettazione e implementazione, fino all'utlizzo di sue molteplici repliche per simulare una Comunità Energetica Rinnovabile. In questo scenario, il Machine Learning funge da componente cardine, declinato in tre forme distinte. In primo luogo, impiegheremo tecniche di unsupervised learning e di drift detection per consentire al digital twin di adattarsi dinamicamente alle mutevoli condizioni fisiche della batteria. In secondo luogo, formuleremo il problema di gestione ottima di una microrete sottoforma di Processo Decisionale di Markov, adottando tecniche di reinforcement learning per ottimizzare la politica operativa della batteria. Infine, estenderemo l'analisi a una Comunità Energetica Rinnovabile, proponendo un innovativo approccio multi-agente per guidare il comportamento dei membri della comunità, naturalmente mossi da interessi individuali, verso una cooperazione e un coordinamento che benefici l'intera rete. Nel corso della tesi, valideremo le metodologie proposte attraverso un'ampia campagna sperimentale basata su dataset reali, da \`e stata favorita dalla collaborazione con RSE S.p.A., un istituto di ricerca italiano leader nel settore energetico. In definitiva, questa ricerca mira a contribuire al progresso del settore energetico, dimostrando il potenziale derivante dall'integrazione tra digital twin e Machine Learning per promuovere un futuro più efficiente, sostenibile e resiliente.