Reinforcement learning for optimization of industrial systems

In the Oil & Gas industry, maintenance of Gas Turbines (GTs) gives rise to a flow of the GT capital parts, which are first removed from the maintained GTs and, then, replaced by parts of the same type taken from the warehouse. If not broken, the removed parts can be repaired at the workshop and returned to the warehouse, for use in future maintenance events. The management of this flow is of outmost importance for the profitability of the GT plant. Despite its relevance, part flow management still relies on experienced-based rules, which do not necessarily yield optimal policies. In this thesis work, the part-flow management is framed as a Sequential Decision Problem (SDP) and Reinforcement Learning (RL) is proposed for its solution in two different settings. The first addresses the part flow management issue in a deterministic environment, in which capital parts cannot fail. In the second setting, the stochastic failure behavior of the capital parts is considered. In both cases, an application to a scaled-down case study derived from the industrial practice is proposed, which shows that RL always finds policies outperforming those based on a widely used experience-based rule.

Il giro parti, in inglese part flow, delle turbine impiegate nell’Oil & Gas rappresenta uno degli aspetti più critici della manutenzione dell’impianto: ad ogni fermo macchina manutentivo ciascun componente viene rimosso dalla turbina e sostituito con un altro dello stesso tipo, scelto tra quelli disponibili nel magazzino. Quando la parte rimossa non presenta danni o un livello di usura critico, viene riparata e riposta nel magazzino, pronta per essere installata ad uno dei successivi fermi macchina su una delle turbine dell’impianto. Pertanto, il giro parti non risulta critico solo per l’affidabilità delle turbine, ma anche per i costi di gestione. Nonostante la sua grande importanza, ad oggi, la sua gestione è basata su regole empiriche, che non garantiscono un giro parti ottimale. In questo lavoro di tesi, il giro parti viene descritto come un processo decisionale di Markov e risolto tramite Reinforcement Learning in due scenari differenti. Nel primo l’ambiente viene considerato deterministico, pertanto la rottura stocastica delle parti non viene modellata, che è invece inclusa nel secondo. In entrambi, un caso studio ispirato a un impianto reale è proposto e viene dimostrato come la politica di gestione del giro parti trovata dal Reinforcement Learning porti a risultati migliori.