A framework of trustworthy Artificial Intelligence for anomaly detection and fault diagnostics of energy systems

Condition monitoring (CM) of energy systems requires detecting the occurrence of anomalies (Anomaly Detection, AD), classifying their causes (Fault Diagnostics, FD), and estimating quantities critical for monitoring the health state of the system (Virtual Sensing, VS). Despite the potential of Deep Learning (DL) methods for CM, their actual use in industry is limited by lack of trustworthiness. A DL model is trustworthy for CM when it is accurate, it estimates the confidence of its outputs, which are explainable and consistent with domain knowledge. In this context, the present PhD thesis develops a new framework for enhancing the trustworthiness of DL methods used for CM of energy systems by employing eXplainable Artificial Intelligence (XAI), a set of methods that produce explanations on how the outputs of DL models are obtained. The main contributions of this work are: • A novel methodology that uses explanations for improving the training of DL-based CM models. Specifically, in AD, bagplots are employed to identify outliers in training data. In FD, the model is trained to provide explanations of the most difficult examples matching annotations provided by experts. The proposed solution, which originally combines an ensemble of DL classifiers with the Right for the Right Reasons method, enhances the trustworthiness of CM models by improving accuracy, providing outputs consistent with expert knowledge, and estimating the confidence of the model in its classifications. • A novel methodology that uses explanations to unveil the causes behind DL model outputs and inform maintenance decisions during field operation. Specifically, in AD, explanations of alarms are gathered by using a modified Differential Importance Measure to identify the faulty component and suppress false alarms caused by varying external conditions. In FD, a novel approach to automatically process explanations of images is developed to identify abnormal behaviours of the model, which are then manually revised by experts. In the context of VS, explanations are used to verify that the estimations of quantities critical for CM are aligned with domain knowledge. The proposed methodology is shown to improve the trustworthiness of the DL models used for CM by enhancing accuracy and consistency with domain knowledge. The framework is validated using simulation and real datasets of signals and images collected from energy systems, such as wind turbines, engines, and power grids.

Il condition monitoring (CM) dei sistemi energetici richiede di individuare il manifestarsi di anomalie (Anomaly Detection, AD), classificarne le cause (Fault Diagnostics, FD) e stimare grandezze critiche per il monitoraggio dello stato di salute del sistema (Virtual Sensing, VS). Nonostante il potenziale dei metodi di Deep Learning (DL) per il CM, il loro impiego effettivo nell’industria è limitato dalla mancanza di fiducia. Un modello DL può essere considerato degno di fiducia per il CM quando è accurato, stima la confidenza delle proprie predizioni, ed esse sono spiegabili e coerenti con la conoscenza di settore. In questo contesto, la presente tesi di dottorato sviluppa un nuovo framework per aumentare la fiducia dei metodi di DL utilizzati per il CM di sistemi energetici, facendo uso della eXplainable Artificial Intelligence (XAI), un insieme di metodi che producono spiegazioni su come vengono ottenute le uscite dei modelli DL. I principali contributi di questo lavoro sono: • Una nuova metodologia che utilizza le spiegazioni per migliorare l’addestramento dei modelli di CM basati su DL. In particolare, nell’AD, il bagplot è impiegato per individuare gli outlier nei dati di addestramento. Nella FD, il modello è addestrato a fornire spiegazioni per gli esempi più difficili che siano coerenti con le spiegazioni fornite dagli esperti. La soluzione proposta, che combina in modo originale un ensemble di classificatori DL con il metodo Right for the Right Reasons, aumenta la fiducia nei modelli di CM migliorando l’accuratezza, producendo uscite coerenti con la conoscenza degli esperti e stimando la confidenza del modello nelle proprie classificazioni. • Una nuova metodologia che utilizza le spiegazioni per far emergere le cause alla base delle uscite dei modelli DL e supportare le decisioni di manutenzione durante il loro utilizzo sul campo. In particolare, nell’AD, le spiegazioni degli allarmi sono ottenute mediante una versione modificata della Differential Importance Measure, al fine di identificare il componente guasto e sopprimere i falsi allarmi causati dal variare delle condizioni esterne. Nella FD, viene sviluppato un nuovo approccio per elaborare automaticamente le spiegazioni delle immagini, con l’obiettivo di identificare comportamenti anomali del modello, che vengono poi revisionati manualmente dagli esperti. Nel contesto del VS, le spiegazioni sono utilizzate per verificare che le stime delle grandezze critiche per il CM siano allineate con la conoscenza di dominio. La metodologia proposta dimostra di migliorare la fiducia dei modelli DL utilizzati per il CM, aumentando sia l’accuratezza sia la coerenza con la conoscenza di dominio. Il framework è validato utilizzando dataset simulati e reali di segnali e immagini raccolti da sistemi energetici quali turbine eoliche, motori e reti elettriche.