Towards distributed reinforcement learning for industry 4.0

Industry 4.0 marks the advent of smart factories, enabled by the integration of digital technologies into traditional industrial processes. Central to this transformation is the role of data, which plays a crucial role in driving system optimization and efficiency. In this context, Reinforcement Learning (RL) emerges as a powerful tool for addressing complex decision-making problems, leveraging large amounts of data to find optimal solutions. However, challenges of applying RL in industrial settings - such as cost of experimentation - often necessitate the use of simulators in order to provide a controlled environment for agents to explore and learn without the risks associated with real-world deployment. This thesis addresses the issue of product routing in an industrial production plant through RL techniques, modeling the problem as a Goal-based Networked Markov Game. In this framework agents — industrial robots — make autonomous decisions about product movement within the plant. By leveraging a digital twin of the production plant provided by an industry partner, we formalized the problem and implemented a practical solution within a realistic simulated environment. Given the inherent demands of large-scale production — specifically the lack of a centralized controller and the high cost of data collection — centralized learning approaches are set aside in favor of a distributed framework. In particular, we propose a distributed version of the Soft Actor-Critic (SAC) algorithm, specifically adapted to suit the constraints of this environment. The results demonstrate that distributed SAC (dSAC) is a promising solution for improving routing efficiency while minimizing production time and energy consumption. This work advances the use of Reinforcement Learning for optimizing production processes in alignment with Industry 4.0 goals, paving the way for more efficiency and flexibility in modern manufacturing.

L'Industria 4.0 segna l’avvento delle fabbriche intelligenti, caratterizzate dall’integrazione di tecnologie digitali nei processi industriali tradizionali. Al centro di questa trasformazione vi è il ruolo dei dati, fondamentali per l'ottimizzazione e l'efficienza dei sistemi. In questo contesto, il Reinforcement Learning (RL) emerge come uno strumento potente per affrontare complessi problemi decisionali, sfruttando grandi quantità di dati per individuare soluzioni ottimali. Tuttavia, l’applicazione del RL in ambito industriale presenta sfide significative come elevati costi di sperimentazione, che richiedono quindi l’uso di simulatori con lo scopo di creare un ambiente controllato in cui gli agenti possano esplorare e apprendere senza i rischi associati alla sperimentazione nel mondo reale. Questa tesi affronta il problema del routing di prodotti in un impianto di produzione industriale attraverso tecniche di RL, modellando la problematica come un Goal-based Networked Markov Game. In questo framework gli agenti — robot industriali — prendono decisioni autonome sul movimento dei prodotti all’interno dell’impianto. Sfruttando un gemello digitale dell’impianto di produzione, fornitoci da un'azienda partner, abbiamo formalizzato il problema e implementato una soluzione pratica in un ambiente simulato ma realistico. Considerando le esigenze intrinseche della produzione su larga scala — come l’assenza di un controllore centralizzato ed elevati costi di raccolta dati — sono state abbandonate le strategie di apprendimento centralizzate a favore di un approccio distribuito. In particolare, proponiamo una versione distribuita dell’algoritmo Soft Actor-Critic (SAC), adattata specificamente ai vincoli di questo problema. I risultati dimostrano che il SAC distribuito (dSAC) rappresenta una soluzione promettente per migliorare l’efficienza del routing, riducendo al contempo i tempi di produzione e il consumo energetico. Questo lavoro contribuisce ad avanzare l’uso del Reinforcement Learning per l’ottimizzazione di processi produttivi in linea con gli obiettivi dell’Industria 4.0, aprendo la strada a una maggiore efficienza e flessibilità nella produzione moderna.