A Reinforcement Learning framework for traffic control in a logistic environment

The integration of artificial intelligence (AI) in various industrial sectors, including logistics, is assuming an increasingly central role. In contexts such as e-commerce distribution centers, production plants, or warehouses, one can observe the movement of agents within these facilities, carrying out operations that require the use of machinery or the transportation of goods, including activities such as loading and unloading materials. This thesis focuses on the application of AI within the logistics sector, proposing the development of agents based on Reinforcement Learning (RL) capable of planning trajectories for automated operators by incorporating a predictive estimate of the traffic impact on assigned tasks. This approach enables interventions in operations that exhibit significant delays by modifying routes to avoid further inefficiencies and, consequently, optimizing the overall performance of the facility. The first part of the work provides a concise review of the fundamental concepts of Machine Learning, with particular emphasis on RL theory. It illustrates the modeling of sequential problems, followed by an overview of the key principles and an analysis of state-of-the-art control algorithms. The second part is dedicated to exploring the specific problem addressed in this research and the manner in which RL is employed to resolve it. In detail, the study analyzes data obtained from a logistics plant simulator and applies predictive algorithms to identify the optimal action among those available, with the aim of minimizing the mission completion time, thus providing a reduction in the delay caused by the impact of traffic on the facility operations.

L'integrazione dell'intelligenza artificiale (IA) in molteplici settori industriali, inclusa la logistica, sta assumendo un ruolo sempre più centrale. In contesti quali centri di distribuzione per l'e-commerce, impianti produttivi o depositi, si osserva il movimento di agenti che transitano all'interno delle strutture, eseguendo operazioni che richiedono l'impiego di macchinari o il trasporto di merci, e che includono attività come il carico e lo scarico dei materiali. La presente tesi si concentra sull'applicazione dell'IA nel comparto logistico, proponendo lo sviluppo di agenti basati sul Reinforcement Learning (RL) in grado di pianificare traiettorie per operatori automatizzati, integrando una stima dell'impatto del traffico sulle missioni assegnate. Tale approccio consente di intervenire sulle operazioni che manifestano ritardi significativi, modificando i percorsi per evitare ulteriori inefficienze e, di conseguenza, ottimizzare le performance complessive dell'impianto. La prima parte del lavoro offre una disamina sintetica dei concetti fondamentali del Machine Learning, con particolare attenzione alla teoria dell'apprendimento per rinforzo. Viene illustrata la modellazione dei problemi sequenziali, seguita da una panoramica dei principi chiave del RL e da un'analisi degli algoritmi all'avanguardia utilizzati per il controllo. La seconda parte si dedica all'esplorazione del problema specifico affrontato nella ricerca e alla modalità con cui il RL viene impiegato per la sua risoluzione. In dettaglio, lo studio analizza i dati derivanti da un simulatore di impianto logistico e applica algoritmi predittivi, basati sul RL, per identificare l'azione ottimale tra quelle disponibili, in modo da minimizzare il tempo di completamento della missione in corso. Ciò richiede una riduzione del ritardo generato dall'influenza del traffico sul funzionamento dell'impianto.