Operation and maintenance of cyber-physical energy systems accounting for reliable and safe power production and supply

Cyber-Physical Energy Systems (CPESs) are energy systems that integrate cyber components within hardware systems for energy production, transmission, and distribution. With the penetration of Renewable Energy Sources (RESs), CPESs are required to provide flexible operation (e.g., load-following, frequency regulation) to respond to any sudden imbalance of the power grid, due to the variability in power generation by RESs. This raises concerns on the reliability of CPESs traditionally used as base-load facilities, such as Nuclear Power Plants (NPPs), some of which were not designed for flexible operation. CPESs are, indeed, vulnerable to system failures due to stochastic failures of the physical hardware components, and to out-of-control failures caused by cyber system aging which is commonly overlooked in design and research, but also exacerbated by frequent changes of the digital controllers setting. Thus, to guarantee the reliable and safe power production and supply, a proper Operation & Maintenance (O&M) strategy is required to account for flexibility to respond to the energy demand and supply to the stochasticity of RESs, and also to avoid accidents of severe consequences caused by system physical or cyber system failures for safety reasons. The objective of the Ph.D. work is to develop a framework for optimizing the O&M strategy of CPESs, which includes: I. modeling to identify and simulate the cyber aging mechanisms and its effects on CPES flexible operation control; II. developing a dynamic reliability framework with cyber aging model embedded to analyze CPES flexible operation dynamic reliaiblity considering cyber aging factor; III. developing a Deep Reinforcement Learning (DRL) framework for CPES O&M strategy optimization and addressing the profit and safety tradeoff by using Multi-Objective Deep Reinforcement Learning (MODRL). With respect to the objective I, a Continuous Time Markov Chain (CTMC) model is proposed for modeling and simulating the cyber aging mechanisms and phenomena, such as memory decrease, performance degradation, data-jamming, blocking, control delay, etc. The power step transient and load-following operation under normal/emergency conditions are considered in reliability quantification for investigating the cyber system aging effects on flexible operation control. With respect to the objective II, the proposed cyber system aging model is embedded into a dynamic reliability assessment framework to assess system reliability considering cyber system aging factor during flexible operation. The Goal Tree Success Tree-Master Logic Diagram (GTST-MLD) framework is selected to rigorously and jointly treat safety, security and cyber aging aspects in the assessment. With respect to the objective III, the O&M strategy optimization problem is formalized as a Sequential Decision Problem (SDP) and DRL is used to solve the SDP and to find the optimal policy. profit and safety are considered as different single-objective reward criteria. To balance the conflict between profit and safety, MODRL is applied to search and approximate the Pareto front. Two state-of-the-art DRL algorithms, Proximal Policy Optimization (PPO) with Imitating Learning (IL) and Monte Carlo Tree Search (MCTS) are implemented on both single-objective and multi-objective optimization problems. Specifically, case studies considered include nuclear CPESs (i.e., a typical Control Rod System (CRS) of NPPs, and the digital Instrumentation and Control (I&C) system of an Advanced Lead-cooled Fast Reactor European Demonstrator (ALFRED)).

I sistemi energetici cibe-fisici (CPES) sono sistemi energetici che integrano componenti cibernetici all'interno dei sistemi hardware per la produzione, la trasmissione e la distribuzione dell'energia. Con la penetrazione delle fonti di energia rinnovabile (RES), i CPES devono fornire un'operazione flessibile (ad esempio, seguendo il carico della rete, regolando la frequenza) per rispondere a qualsiasi disequilibrio improvviso della rete elettrica, dovuto alla variabilità nella generazione di energia da parte delle RES. Ciò solleva preoccupazioni sulla affidabilità dei CPES tradizionalmente utilizzati come impianti a carico di base, come le centrali nucleari, alcune delle quali non sono state progettate per un'operazione flessibile. I CPES sono, infatti, vulnerabili a guasti di sistema dovuti a guasti casuali dei componenti hardware fisici e a guasti fuori controllo causati dall'invecchiamento del sistema ciber, spesso trascurato nella progettazione e nella ricerca, ma anche aggravato da frequenti modifiche delle impostazioni dei controllori digitali. Pertanto, per garantire una produzione e un'offerta di energia affidabile e sicura, è necessaria una corretta strategia di Operazione e Manutenzione (O&M) per garantire una risposta flessibile alla domanda e all'offerta di energia rispetto alla stocasticità delle RES, e anche per evitare incidenti con conseguenze gravi causati da guasti fisici del sistema o del sistema ciber per motivi di sicurezza. L'obiettivo del lavoro di dottorato è quello di sviluppare un metodo per ottimizzare la strategia di O&M dei CPES, che comprende: I. modellizzazione per identificare e simulare i meccanismi di invecchiamento ciber e i suoi effetti sul controllo dell'operazione flessibile dei CPES; II. sviluppo di un metodo di affidabilità dinamica con modello di invecchiamento ciber incorporato per analizzare l'affidabilità dinamica dell'operazione flessibile dei CPES considerando il fattore di invecchiamento ciber; III. sviluppo di un modello di Deep Reinforcement Learning (DRL) per l'ottimizzazione della strategia di O&M dei CPES considerando il compromesso tra profitto e sicurezza utilizzando il Multi-Objective Deep Reinforcement Learning (MODRL). Per quanto riguarda l'obiettivo I, viene proposto un modello di Continuous Time Markov Chain (CTMC) per la modellizzazione e la simulazione dei meccanismi e dei fenomeni di invecchiamento ciber, come la diminuzione della memoria, il degrado delle prestazioni, il blocco dei dati, il ritardo del controllo, ecc. Vengono considerate i transienti di passaggio di potenza e l'operazione di seguimento del carico in condizioni normali/emergenza per la quantificazione dell'affidabilità allo scopo di investigare gli effetti dell'invecchiamento del sistema ciber sul controllo dell'operazione flessibile. Per quanto riguarda l'obiettivo II, il modello di invecchiamento del sistema ciber proposto viene incorporato in un metodo di valutazione dell'affidabilità dinamica per valutare l'affidabilità del sistema considerando il fattore di invecchiamento del sistema ciber durante l'operazione flessibile. Il metodo Goal Tree Success Tree-Master Logic Diagram (GTST-MLD) è stato selezionato per trattare rigorosamente e congiuntamente gli aspetti di sicurezza, sicurezza informatica e invecchiamento ciber nella valutazione dell’affidabilità. Per quanto riguarda l'obiettivo III, il problema di ottimizzazione della strategia O&M viene formalizzato come un Problema Decisionale Sequenziale (SDP) e il DRL viene utilizzato per risolvere l'SDP e trovare la politica ottimale. Il profitto e la sicurezza vengono considerati come criteri di ricompensa a singolo obiettivo diversi. Per bilanciare il conflitto tra profitto e sicurezza, viene applicato il MODRL per cercare e approssimare il fronte di Pareto. Due algoritmi DRL di ultima generazione, Proximal Policy Optimization (PPO) con Imitating Learning (IL) e Monte Carlo Tree Search (MCTS), sono implementati su entrambi i problemi di ottimizzazione a obiettivo singolo e multi-obiettivo. In particolare, i casi studio considerati includono CPES nucleari (cioè un tipico sistema di Controllo delle Barre di Controllo (CRS) delle NPP e il sistema di Strumentazione e Controllo (I&C) digitale di un Dimostratore Europeo Avanzato di un Reattore Veloce Raffreddato a Piombo (ALFRED)).