A digital twin-enabled deep reinforcement learning framework for integrated scheduling and maintenance of degrading manufacturing systems

Automated industrial production lines are subject to progressive machine degradation, a process by which the physical condition of processing stations deteriorates as a result of cumulative mechanical usage. Ignoring degradation when making scheduling decisions leads to suboptimal performance: parts may be released to stations that are close to fail- ure, maintenance may be performed too early or too late, and the resulting disruptions propagate through the entire line. Classical scheduling approaches are structurally un- able to address this coupling, and more sophisticated optimisation formulations become computationally intractable at industrial scale. This thesis proposes a closed-loop collaboration framework between a Digital Twin (DT) and a Deep Q-Network (DQN) agent for degradation-aware production scheduling. The DT is implemented in Siemens Tecnomatix Plant Simulation and models machine degra- dation through a three-phase piecewise Weibull reliability model, propagating its effects on stochastic processing-time behaviour and conditional failure probability. The DQN agent formulates the problem as a Markov Decision Process, observing a ten-dimensional state vector and selecting from a joint action space that simultaneously specifies a dis- patching rule and preventive maintenance decisions for both degrading stations. The main contribution is the architecture of the DT-AI collaboration model, comprising the design of the information interface, the joint action space formulation, and a reward function calibrated to the real cost structure of the system. The framework is evaluated over 100 independent replications against a no-maintenance baseline. Results show that the DQN policy reduces mean makespan by 54% and mean unplanned failures by 43%, while compressing run-to-run variability by a factor of four. Phase-level analysis confirms that the agent learns to preempt wear-out failures by inter- vening before stations enter the high-hazard third degradation phase. All differences are statistically significant under Welch t-tests with Bonferroni correction (p < 0.001).

Le linee di produzione industriale automatizzate sono soggette a una progressiva degradazione delle macchine, attraverso la quale le condizioni fisiche delle stazioni si deteriorano a causa dell’utilizzo meccanico cumulativo. Ignorare la degradazione nelle decisioni di schedul- ing porta a prestazioni subottimali: i pezzi possono essere rilasciati a stazioni prossime al guasto, la manutenzione può essere eseguita troppo presto o troppo tardi, e le per- turbazioni risultanti si propagano lungo l’intera linea. Gli approcci classici sono strut- turalmente incapaci di affrontare questo accoppiamento, e le formulazioni più sofisticate diventano computazionalmente intrattabili su scala industriale. Questa tesi propone un modello di collaborazione in anello chiuso tra un Digital Twin (DT) e un agente Deep Q-Network (DQN) per lo scheduling della produzione degradation- aware. Il DT è implementato in Siemens Tecnomatix Plant Simulation e modella la degradazione attraverso un modello di Weibull a tratti a tre fasi, propagandone gli ef- fetti sui tempi di lavorazione e sulla probabilità di guasto condizionale. L’agente DQN formula il problema come un Processo Decisionale di Markov, osservando un vettore di stato a dieci dimensioni e selezionando da uno spazio delle azioni congiunto che speci- fica simultaneamente una regola di dispatching e le decisioni di manutenzione preventiva per entrambe le stazioni degradanti. Il contributo principale è l’architettura del modello di collaborazione DT-AI, comprendente la progettazione dell’interfaccia informativa, la formulazione dello spazio delle azioni e una funzione di reward calibrata sulla struttura reale dei costi del sistema. I risultati su 100 repliche indipendenti mostrano che la policy DQN riduce il makespan medio del 54% e i guasti non pianificati del 43%, comprimendo la variabilità tra le repliche di un fattore quattro. L’analisi per fase conferma che l’agente apprende a prevenire i guasti da usura intervenendo prima che le stazioni entrino nella terza fase ad alto rischio. Tutte le differenze sono statisticamente significative (p < 0.001).