A Markov decision process framework for optimal operation and maintenance of industrial systems equipped with prognostic capabilities

We develop two decision-support frameworks based on Markov Decision Processes (MDPs) and Partially Observable Markov Decision Processes (POMDPs) for the optimal management of the operation and maintenance of industrial systems including PHM equipped components. These frameworks are applied to two realistic industrial settings, which highlight the benefits to the operation profit that can be yielded. Specifically, we first apply the MDP framework for managing a Multi-Component System (MCS) made up of two pumps in a parallel configuration, which serve a user requiring a constant flow rate. The pumps degrade depending on the sustained load, whereby preventive and corrective maintenance are performed to counteract the evolution of the degradation process and restore the pumps to a healthier state. The optimal operation and maintenance management policy found by solving the MDP is shown to outperform two traditional management policies in terms of both monetary profit and system availability. In the second case study, we develop a decision-support framework within the POMDP framework for optimal operation and maintenance management of a Gas Transmission Network (GTN). This framework enhances the MDP in that it allows accounting for the uncertainties in the estimations of the component degradation states provided by the PHM systems. The framework is applied to a simplified scheme of an existing GTN and an algorithm of the literature, PERSEUS, is used to solve the POMDP. The results show that equipping the network critical elements with PHM systems to monitor their health conditions can be beneficial to the profitability of the GTN operation, the benefits depending on the PHM accuracy.

Sviluppiamo due framework di supporto decisionale basati su Markov Decision Processes (MDPs) e Partially Observable Markov Decision Processes (POMDPs) per la gestione ottimale delle operazioni e della manutenzione dei sistemi industriali, includendo componenti dotati di sistemi Prognostics and Health Management (PHM). Questi framework sono applicati a due configurazioni industriali reali, che illustrano i benefici verso il profitto ottenuto dalle operazioni del sistema. Nel dettaglio, in prima istanza, applichiamo il framework dei MDPs per gestire un sistema multi-componente costituito da due pompe in parallelo, che servono un’utenza che richiede una portata costante. Le pompe degradano in funzione del carico sostenuto, mentre le azioni di manutenzione preventiva e correttiva vengono implementate per contrastare l’evoluzione del processo di degrado e riportare le pompe ad uno stato di funzionamento migliore. La politica ottimale di gestione delle operazioni e delle manutenzioni trovata risolvendo il MDP si dimostra superiore a due politiche di gestione tradizionali sia in termini di profitto monetario che di disponibilità del sistema. Nel secondo caso studio, sviluppiamo un modello di supporto decisionale basato sul framework dei POMDP per la gestione ottimale delle operazioni e della manutenzione di una rete di trasmissione del gas. Questo framework costituisce un miglioramento dei MDP poiché consente di considerare le incertezze nelle stime degli stati di degrado dei componenti fornite dai sistemi PHM. Questo framework è applicato ad uno schema semplificato di una rete del gas esistente e un algoritmo della letteratura, PERSEUS, viene usato per risolvere il POMDP. I risultati mostrano come dotare gli elementi critici di sistemi per il monitoraggio delle loro condizioni di funzionamento possa essere benefico per la redditività delle operazioni della rete di trasmissione del gas, dove i benefici dipendono dalla precisione del sistema PHM.