A deep reinforcement learning-based framework for optimal operation and maintenance of complex assets of the energy industry

The optimization of Operation and Maintenance (O&M) in complex energy systems has become a great issue of concern since O&M accounts for a large percentage of the assets life cycle costs. Nowadays, with the rapid advancement of sensoring and monitoring systems and the integration of advanced analytics into industry, new sources of information have become available and new powerful algorithms have been developed to detect anomalies, diagnose their causes and predict failure times. This is leading the interest of researchers towards prescriptive maintenance, which is a maintenance strategy in which O&M action are recommended by the algorithm, allowing the automatization of the maintenance decision-making process, making it less dependent on the subjective experts’ knowledge. In this context, the present PhD thesis proposes a machine learning – based methodological framework for the optimization of O&M in complex energy systems. The proposed framework aims at: i) exploiting all the available sources of information related to the system and its environment; ii) being suitable for dealing with different complex systems; iii) being robust with respect to the uncertainties of the system and its environment. The main novelties are the use of deep reinforcement learning for the definition of the optimal O&M strategy and the achievement of prescriptive maintenance for different complex energy systems. The effectiveness of the proposed framework is shown by means of its application to artificial case studies related to the optimization of the O&M strategy of a wind farm and a microgrid. The robustness of the framework is also tested by means of ad-hoc experiments.

L’ottimizzazione del funzionamento e della manutenzione di sistemi energetici complessi è diventato motivo di studio poiché il funzionamento e la manutenzione costituiscono gran parte del costo di vita degli impianti. Al giorno d'oggi, con il rapido avanzamento dei sistemi di rilevamento e monitoraggio e l'integrazione di tecniche di analisi avanzata nell'industria, sono state rese disponibili nuove fonti di informazioni e sono stati sviluppati nuovi potenti algoritmi per rilevare le anomalie, diagnosticarne le cause e prevedere i tempi di guasto dei componenti. Questo sta dirottando l'interesse dei ricercatori verso la manutenzione prescrittiva, una strategia di manutenzione in cui le azioni di funzionamento e manutenzione sono consigliate da un algoritmo, consentendo l'automatizzazione del processo decisionale di manutenzione, rendendolo meno dipendente dalle conoscenze soggettive degli esperti. In questo contesto, la presente tesi di dottorato propone una struttura metodologica basata sull'apprendimento automatico per l'ottimizzazione del funzionamento e della manutenzione di sistemi energetici complessi. L’approccio proposto mira a: i) sfruttare tutte le fonti di informazione disponibili relative al sistema e al suo ambiente; ii) essere idoneo a trattare diversi sistemi complessi; iii) essere robusto rispetto alle incertezze del sistema e del suo ambiente. Le principali novità sono l'utilizzo dell’apprendimento per rinforzo profondo per la definizione della strategia di funzionamento e manutenzione ottimale, e l’implementazione della manutenzione prescrittiva per diversi sistemi energetici complessi. L'efficacia dell’approccio proposto è dimostrata attraverso la sua applicazione a casi studio artificiali relativi all'ottimizzazione della strategia di funzionamento e manutenzione di un parco eolico e di una microgrid. La robustezza della struttura metodologica è stata anche testata mediante esperimenti sviluppata ad hoc.