Production scheduling based on a reinforcement learning algorithm for complex production systems

Today, the manufacturing sector is looking for complex production systems to satisfy its flexibility requirements without neglecting the trade-off between being at the forefront of markets’ needs and being profitable. Due to the changes in those needs, the scheduling function becomes a relevant issue to solve by manufacturing companies. Furthermore, in the Industry 4.0 context, some emerging technologies as artificial intelligence facilitate several quotidian activities in a production plant. For example, most of the production planning and control activities present high variability, making decision-making difficult. However, through automatization, it is possible to simplify it. Moreover, AI approaches bring improvements not only in terms of performance but also in terms of cost. Putting together the production scheduling problem related to complex production systems and the advantages that emerging technologies bring to solve the issues inside these environments, it is essential to develop an alternative way to solve the scheduling problem considering an innovative perspective. One of the options to explore is applying AI techniques, an approach that has not been explored enough and that presents potential features in different dimensions (i.e., accuracy, computational cost, precision, etc.) In this thesis, we developed and implemented a tool to solve the scheduling problem of a manufacturing system based on a reinforcement learning (RL) method. Compared to a well-known dispatching rule (i.e., shortest processing time), the proposed contribution resulted in improvements for resource utilization and lower work in progress due to the shortening of the flow time of the jobs. However, the computational cost is still a challenge to be faced in future research.

Attualmente, il settore manifattura sta cercando sistemi complessi di produzione per soddisfare la flessibilità nelle sue richieste senza trascurare il compromesso tra essere all’avanguardia delle necessità dei mercati ed essere lucrativo. Siccome i mercati registrano cambiamenti nelle sue necessità, allora la pianificazione diventa una questione prioritaria a risolvere nelle aziende di manifattura. Inoltre, nel contesto della industria 4.0, alcune tecnologie emergente come l’intelligenza artificiale rendono più facili alcune attività che si svolgono ogni giorno all’interno di una pianta di produzione. Per esempio, la maggioranza di compiti relazionate alla pianificazione e il controllo della produzione presentano un’elevata variabilità, rendendo difficile il processo di prendere decisioni. In più, i miglioramenti che portano gli approcci in IA, non sono solo in termini di prestazioni, sono anche i termini di costi. Allora, approfittare i vantaggi delle tecnologie emergenti nella risoluzione dei problemi di pianificazione all’interno dei sistemi complessi di produzione è possibile tramite lo sviluppo di una soluzione con una perspettiva innovativa. Si esplora l’applicazione di tecniche AI, un approccio che non è stato analizzato abbastanza e che presenta caratteristiche potenzialmente favorevoli nei confronti della precisione, costo computazionale, etc. Questa tesi si centra nello sviluppo e implementazione di un algoritmo basato sul metodo di insegnamento rafforzativo (RL). L’analisi attraverso le metriche di rendimento ben conosciute come il tempo impiegato nel processo, evidenzia che la contribuzione proposta in questo lavoro presenta miglioramenti in termini di utilizzo di risorse e molto meno lavoro in corso grazie alla diminuzione del flusso di tempo nei compiti. Comunque, questioni come il costo computazionale sono ancora una sfida che deve essere confrontata in una ricerca successiva.