Reinforcement learning for energy-efficient control of production systems

Nowadays, energy efficiency has become a critical issue in industry, with rising energy costs, environmental concerns, and stricter regulations. In particular, manufacturing accounts for a considerable portion of global energy consumption, and reducing energy usage in this sector can improve production systems sustainability. In this context, energy-efficient control (EEC) of manufacturing equipment has emerged as a promising solution. EEC aims to minimize the energy consumption while maintaining production targets. However, traditional EEC methods face several barriers and limitations, including the stochasticity of manufacturing systems, the limited control actions available, and the unknown system dynamics. Recent research has demonstrated the applicability and potential of Reinforcement Learning (RL) to successfully control production systems. RL is a type of Machine Learning that enables agents to learn from their environment by interacting with it, providing an alternative method to handle incomplete or uncertain information. RL algorithms are indeed adaptive, designed to deal with the system dynamics during the learning process and to adjust their strategies accordingly over time. RL adaptability and effectiveness in addressing control problems that entail high levels of stochasticity make it a suitable candidate for effectively applying EEC policies to manufacturing equipment. The research goal of this thesis is to develop novel RL-based models that overcome the actual EEC barriers and are capable of dealing with the EEC task for one, more or all the machines in a manufacturing line. The system of interest are workstations composed of several machines in parallel, a widely used layout to obtain a balanced production system in terms of workstations workload. Despite their widespread use and high energy consumption, there is a lack of research that focuses on the potential for energy savings for this system type. Additionally, there has been no exploration in literature of the potential for RL to apply EEC in manufacturing. The proposed and innovative RL-based models apply EEC to single parallel machine workstations and multi-stage production lines with parallel machine workstations. These models are adaptive and general, enabling them to identify suitable EEC policies for various performance indicators while maintaining production constraints. Numerical results confirm model benefits when applied to a real line from the automotive sector. Further experiments confirm effectiveness and generality of the approach. The results of this research will contribute to the development of more efficient and sustainable production systems, enabling manufacturers to reduce their energy consumption and increase their competitiveness.

Al giorno d'oggi, l'efficienza energetica è diventata una questione critica nell'industria, a causa dell'aumento dei costi energetici, delle preoccupazioni ambientali e delle normative più severe. In particolare, l'industria manifatturiera rappresenta una parte considerevole del consumo energetico globale e la riduzione del consumo energetico in questo settore può migliorare la sostenibilità dei sistemi di produzione. In questo contesto, il controllo dell'efficienza energetica (EEC) delle apparecchiature di produzione è emerso come una soluzione promettente. L'EEC mira a minimizzare il consumo di energia mantenendo gli obiettivi di produzione. Tuttavia, i metodi EEC tradizionali devono affrontare diversi ostacoli e limitazioni, tra cui la stocasticità dei sistemi di produzione, le limitate azioni di controllo disponibili e le dinamiche spesso ignote del sistema. Recenti ricerche hanno dimostrato l'applicabilità e il potenziale del Reinforcement Learning (RL) per controllare con successo i sistemi di produzione. L'RL è un tipo di apprendimento automatico che consente agli agenti di imparare dall'ambiente circostante interagendo con esso, fornendo un metodo alternativo per gestire informazioni incomplete o incerte. Gli algoritmi di RL sono effettivamente adattivi, progettati per gestire le dinamiche del sistema durante il processo di apprendimento e per regolare di conseguenza le loro strategie nel tempo. L'adattabilità e l'efficacia di RL nell'affrontare problemi di controllo che comportano alti livelli di stocasticità lo rendono un candidato adatto per applicare efficacemente le politiche CEE alle apparecchiature di produzione. L'obiettivo della ricerca di questa tesi è sviluppare nuovi modelli basati su RL che superino le attuali barriere EEC e siano in grado di affrontare il compito EEC per una, più o tutte le macchine di una linea di produzione. Il sistema di interesse è costituito da postazioni di lavoro composte da più macchine in parallelo, un layout ampiamente utilizzato per ottenere un sistema di produzione bilanciato in termini di carico di lavoro delle postazioni. Nonostante la loro diffusione e l'elevato consumo energetico, mancano ricerche che si concentrino sul potenziale di risparmio energetico di questo tipo di sistema. Inoltre, in letteratura non è stato esplorato il potenziale di RL per l'applicazione dell'EEC nel settore manifatturiero. I modelli innovativi proposti, basati su RL, applicano l'EEC a singole postazioni di lavoro con macchine parallele e a linee di produzione multistadio con postazioni di lavoro con macchine parallele. Questi modelli sono adattivi e generali, il che consente loro di identificare politiche EEC adeguate per vari indicatori di prestazione, mantenendo i vincoli di produzione. I risultati numerici confermano i vantaggi del modello quando viene applicato a una linea reale del settore automobilistico. Ulteriori esperimenti confermano l'efficacia e la generalità dell'approccio. I risultati di questa ricerca contribuiranno allo sviluppo di sistemi di produzione più efficienti e sostenibili, consentendo ai produttori di ridurre i loro consumi energetici e di aumentare la loro competitività.