A study on the applicability of reinforcement learning to the energy-efficient control problem in manufacturing

Sustainability in manufacturing is one of the main challenges nowadays approached by scientific research and industrial practice. Production systems have been continuously improved in terms of production rate and quality, however their energetic efficiency has become a hot topic only in recent years. As significant measure, the control of machines state has been recently studied in literature: instead of maintaining machines always on, machine green modes can be exploited by switching on/off the machines in correspondence of some specific conditions or time instants. In order to not affect the production performances of the system, the aforementioned conditions and time instants for issuing switch on/off commands to the machines should be carefully selected to form a control policy. A second clear trend is the use of artificial intelligence and machine learning techniques to cope with industrial problems. In particular, reinforcement learning is a machine learning technique in which an entity called agent learns how to intervene on an external environment based on the observations it receives from the environment itself and on a reward related to the effects of its previous decisions. Reinforcement learning has a great potential in discovering successful control policies. The goal of this work is to analyse the applicability of reinforcement learning framework to the energy-efficient control of manufacturing systems made of multiple identical machines. A model representing the control problem is developed and a reinforcement learning algorithm is integrated inside it. In order to represent the production dynamics, event-based simulations are exploited. By means of numerical simulations, this work aims at highlighting limitations and guidelines for future applications. Also, it allows to recognize the multiple challenges imposed by the use of reinforcement learning for the manufacturing energy-efficient control and, dealing with many of them, it paves the way to better understand the integration of reinforcement learning in this field.

La sostenibilità in ambito produttivo è una delle principali sfide oggi affrontate dalla ricerca scientifica e dalla pratica industriale. I sistemi di produzione sono stati continuamente migliorati in termini di tasso di produzione e qualità, tuttavia, la loro efficienza energetica è diventata un tema caldo solo negli ultimi anni. Come misura significativa, il controllo dello stato delle macchine è stato recentemente studiato in letteratura: invece di mantenere le macchine sempre accese, è possibile sfruttare le modalità a risparmio energetico delle macchine accendendole/spegnendole in corrispondenza di determinate condizioni o istanti di tempo. Per non pregiudicare le prestazioni produttive del sistema, le suddette condizioni e gli istanti di tempo per l'invio dei comandi di accensione/spegnimento alle macchine devono essere accuratamente selezionati in modo da formare una politica di controllo. Una seconda chiara tendenza è l'uso dell'intelligenza artificiale e delle tecniche di machine learning per far fronte ai problemi industriali. In particolare, il reinforcement learning è una tecnica di machine learning in cui un'entità denominata agente impara come intervenire su un ambiente esterno in base alle osservazioni che riceve dall'ambiente stesso e ad una ricompensa legata agli effetti delle sue decisioni precedenti. Il reinforcement learning ha un grande potenziale per scoprire politiche di controllo funzionanti. L'obiettivo di questo lavoro è analizzare l'applicabilità delle logiche di reinforcement learning al controllo dell'efficienza energetica di sistemi di produzione costituiti da più macchine identiche. Viene sviluppato un modello rappresentante il problema di controllo e un algoritmo di reinforcement learning viene integrato nello stesso. Per rappresentare le dinamiche di produzione si utilizzano simulazioni event-based. Per mezzo di simulazioni numeriche, questo lavoro mira a evidenziare limiti e linee guida per applicazioni future. Inoltre, consente di riconoscere le molteplici sfide imposte dall'uso del reinforcement learning per il controllo dell'efficienza energetica in ambito produttivo e, affrontando molte di esse, apre la strada per meglio comprendere l'integrazione del reinforcement learning in questo ambito.