Probabilistic digital twin for structural safety assurance and optimal decision making via reinforcement learning

The digital twin (DT) concept has emerged as a paradigm to enable diagnostic and predictive capabilities not achievable with computational models alone. A DT is a personalized virtual representation of a unique physical asset or process that evolves over time. It relies on computational models, is continually updated with data to persistently mirror its physical counterpart, has predictive capabilities, and guides decisions that realize value. A key aspect of the DT perspective is its multidisciplinary nature, encompassing processes such as data assimilation, state estimation, prediction, planning, and learning. This Thesis proposes a robust and flexible mathematical DT model for the structural health monitoring of engineering systems, using dynamic Bayesian networks to model the continuous and bi-directional interaction between the physical and virtual domains. This bi-directional interaction forms a feedback loop that comprises dynamic data-driven model updating and optimal decision-making. Furthermore, advanced reinforcement learning methods are incorporated for improved planning of personalized and informed monitoring, maintenance, and management programs. Central to this study is the integration of adaptive capabilities through the progressive refinement of state transition probabilities modeled as random variables, i.e., parametric Markov decision processes, enhancing the DT personalization, robustness, and cost-effectiveness. These systematic updates allow not only for recomputing a better control policy, but also for exploiting risk-averse planning to account for rare events. The proposed framework is assessed on the simulated monitoring of the Hörnefors railway bridge, highlighting the DT capabilities for real-time structural health tracking to promptly suggest the most appropriate control input.

Il concetto di gemello digitale (Digital Twin, DT) è recentemente emerso come un paradigma per ridefinire le capacità diagnostiche e predittive su sistemi ingegneristici, superando i limiti dei modelli computazionali tradizionali. Un DT è una rappresentazione virtuale personalizzata di un asset o processo fisico che evolve nel tempo; esso si basa su modelli computazionali, è continuamente aggiornato con dati per rispecchiare persistentemente il suo omologo fisico, possiede capacità predittive e guida decisioni che realizzano valore. Un aspetto chiave di tale paradigma è la sua natura multidisciplinare, che comprende assimilazione di dati, stima dello stato, predizione, pianificazione e apprendimento. Questa Tesi propone un modello matematico di DT robusto e flessibile per il monitoraggio della salute strutturale di sistemi ingegneristici, utilizzando reti Bayesiane dinamiche per modellare l'interazione continua e bidirezionale tra i domini fisico e virtuale. Questa interazione bidirezionale forma un ciclo di feedback che comprende l'aggiornamento dinamico del modello basato sui dati e la presa di decisioni ottimali. Inoltre, vengono incorporate metodologie di apprendimento per rinforzo per migliorare la pianificazione di programmi di monitoraggio, manutenzione e gestione personalizzati e informati. Centrale in questo studio è l'integrazione di capacità adattive attraverso il raffinamento progressivo delle probabilità di transizione di stato modellate come variabili casuali, ossia processi decisionali di Markov parametrici, migliorando la personalizzazione, la robustezza e l'efficienza economica del DT. Questi aggiornamenti sistematici permettono non solo di ricalcolare un corso di azioni di controllo migliore, ma anche di sfruttare una pianificazione avversa al rischio per tenere conto di eventi rari. L'efficacia del framework proposto viene dimostrata attraverso il monitoraggio simulato del ponte ferroviario di Hörnefors, evidenziando le capacità del DT per il tracciamento in tempo reale della salute strutturale al fine di suggerire tempestivamente l'input di controllo più appropriato.