Reinforcement learning-based robot decision making for human-robot collaboration

With the advent of Industry 4.0, companies have initiated a pursuit towards enhanced production flexibility, driven by the need to swiftly adapt to evolving customer demands and remain competitive in an increasingly dynamic market. However, despite efforts to automate production lines, significant issues arise concerning their lack of flexibility and inability to adjust rapidly and efficiently to changes in the production process. The ultimate goal of this thesis is to develop a robot-agent characterized by optimal decision-making capabilities, enabling it to become ’intelligent’ and able of determining which assembly operation to perform. This capability facilitates effective collaboration with humans, thereby increasing process efficiency and reducing production times. Additionally, the aim of the thesis is to provide a scalable methodology that is adaptable and reusable across various collaborative assembly contexts, allowing for flexibility in case of changes to the production line. Specifically, different Q-Learning algorithms have been developed, offline-tested and compared. To experimentally validate these techniques, more than one-hundred (online) assembly tests have been conducted. The collected results showed as general outcome, that the method is able to deliver optimal performance, in terms of saved time and of correctness of the overall process.

Con l’avvento dell’Industria 4.0, le aziende aspirano ad una maggiore flessibilità produttiva, spinte dalla necessità di adattarsi rapidamente alle mutevoli richieste dei clienti e rimanere competitive in un mercato sempre più dinamico. Tuttavia, nonostante gli sforzi per automatizzare le linee di produzione, emergono problemi significativi legati alla loro mancanza di flessibilità e incapacità di adattarsi rapidamente ed efficientemente ai cambiamenti nel processo produttivo. L’obiettivo principale della presente tesi è sviluppare un agente robotico caratterizzato da un’ottimale capacità decisionale, consentendogli di diventare ’intelligente’ e capace di determinare quale operazione di assemblaggio eseguire. Questa capacità facilita una collaborazione efficace con gli operatori umani, aumentando così l’efficienza del processo e riducendo i tempi di produzione. Inoltre, lo scopo della tesi è fornire una metodologia scalabile, adattabile e riutilizzabile in vari contesti di assemblaggio collaborativo, permettendo flessibilità in caso di cambiamenti nella linea di produzione. In particolare, sono stati sviluppati, testati offline e confrontati diversi algoritmi di Q-Learning. Per validare sperimentalmente queste tecniche, sono stati condotti più di cento test di assemblaggio. I risultati raccolti hanno mostrato come esito generale che il metodo è in grado di fornire prestazioni ottimali, in termini di tempo risparmiato e di correttezza complessiva del processo.