Reinforcement learning for condition-based maintenance of naval structures

Maintenance is a critical aspect in the management of complex naval systems, directly affecting reliability, operational availability, and life-cycle costs. Traditional time- based maintenance strategies schedule interventions at fixed intervals, regardless of the actual structural condition, often leading to unnecessary downtime, inefficient resource allocation, and unexpected failures. To address these limitations, data-driven and adaptive approaches are increasingly required in naval operations, where safety and mission continuity are essential. In this context, the Digital Twin (DT) paradigm has emerged as a powerful framework, providing a continuously updated virtual representation of a physical asset through real data and simulation models. This thesis proposes an AI-enhanced DT architecture that integrates Discrete Event Simulation (DES) and Reinforcement Learning (RL) to optimize Condition-Based Maintenance (CBM) strategies for ship structural components. The DES module models the stochastic evolution of structural degradation and operational conditions over the vessel’s service life, accounting for mission variability and maintenance interventions. Building on this simulated environment, an RL agent learns optimal maintenance policies by interacting with the DT, aiming to maximize a cumulative reward function that balances structural reliability, mission availability, and economic efficiency. Unlike traditional threshold-based approaches, the proposed method enables autonomous and adaptive decision-making. The proposed case study is validated through a simplified model, in which the ship structure is assimilated to a single representative hull panel affected by fatigue crack propagation described by Paris’ law. Results show that the RL-based strategy reduces maintenance costs while maintaining higher reliability and operational performance compared to conventional scheduled maintenance policies. Overall, this work demonstrates the potential of combining physics-based simulation and artificial intelligence to support prescriptive and self-learning maintenance optimization in naval engineering.

La manutenzione rappresenta un aspetto cruciale nella gestione dei sistemi navali complessi, influenzando direttamente l’affidabilità, la disponibilità operativa e i costi lungo il ciclo di vita. Le strategie tradizionali basate su intervalli temporali fissi pianificano gli interventi indipendentemente dallo stato reale della struttura, causando spesso tempi di inattività non necessari, un’allocazione inefficiente delle risorse e guasti imprevisti. Per superare tali limitazioni, nelle operazioni navali — dove sicurezza e continuità della missione sono elementi essenziali — risultano sempre più necessari approcci adattivi e basati sui dati. In questo contesto, il paradigma del Digital Twin (DT) è emerso come un framework potente, in grado di fornire una rappresentazione virtuale del bene fisico costantemente aggiornata attraverso dati reali e modelli di simulazione. Questa tesi propone un’architettura di DT potenziata dall’intelligenza artificiale, che integra la Discrete Event Simulation (DES) e il Reinforcement Learning (RL) per ottimizzare strategie di Condition-Based Maintenance (CBM) applicate a componenti strutturali navali. Il modulo DES modella l’evoluzione stocastica del degrado strutturale e delle condizioni operative lungo la vita utile della nave, tenendo conto della variabilità delle missioni e della manutenzione. Sulla base di questo ambiente simulato, l’RL apprende politiche di manutenzione ottimali interagendo con il DT, con l’obiettivo di massimizzare una funzione di ricompensa cumulativa che bilancia affidabilità strutturale, disponibilità operativa ed efficienza economica. A differenza degli approcci tradizionali basati su soglie predefinite, il metodo proposto consente un processo decisionale autonomo e adattivo. Il caso studio è validato tramite un modello semplificato, in cui la struttura della nave è assimilata a un singolo pannello rappresentativo di scafo soggetto a propagazione di cricca da fatica descritta mediante la legge di Paris. I risultati mostrano che la strategia basata su RL riduce i costi di manutenzione mantenendo livelli superiori di affidabilità e prestazioni operative rispetto alle politiche convenzionali di manutenzione programmata. Nel complesso, questo lavoro evidenzia il potenziale della combinazione tra simulazione fisico–basata e intelligenza artificiale per supportare un’ottimizzazione prescrittiva e auto-apprendente della manutenzione in ambito navale.