A hybrid reinforcement learning-graph neural network approach for human-robot collaboration

In the last few years, collaborative robotics has become a key component in the evolution of industrial automation. Its integration within manufacturing industries has led to the development of collaborative assembly processes, in which one of the main challenges is the definition of an efficient robot decision-making policy. Such a policy must dynamically assign tasks in real time, ensuring efficiency in terms of production time and costs, while remaining flexible across heterogeneous scenarios and capable of adapting to unpredictable human actions, without compromising operator autonomy. This thesis proposes a Graph Neural Network (GNN)-based decision-making strategy for the robot. The assembly process is modeled as a graph: at each decision step, the GNN receives the current state and determines which task should be assigned to the robot, with the objective of minimizing the overall assembly time, while adapting to the unpredictable actions of the human operator. The training of the GNN is guided by a specifically designed Q-learning algorithm, which explores different assembly scenarios and generates target robot behaviors by rewarding choices that maximize efficiency. The resulting sequences are used to train the GNN on a large dataset of heterogeneous assemblies, enabling it to generalize across different structures. During execution, the assembly state is continuously updated to account for human actions, allowing the robot to adapt its decisions in real time. An additional online fine-tuning procedure customizes the GNN weights to the specific assembly, further reducing execution time. The proposed approach has been validated through both offline simulations and online experiments on real assemblies, also considering dynamic changes in the tasks that characterize the assembly structure.

Negli ultimi anni, la robotica collaborativa è diventata un elemento chiave nell’evoluzione dell’automazione industriale. La sua integrazione nei contesti produttivi ha portato allo sviluppo di processi di assemblaggio collaborativo, nei quali una delle principali sfide risiede nella definizione di una strategia decisionale del robot capace di garantire efficienza. Tale strategia deve essere in grado di assegnare compiti in modo dinamico e in tempo reale, ridurre tempi e costi di produzione, rimanere flessibile in scenari eterogenei e adattarsi al comportamento imprevedibile dell’operatore umano, preservandone allo stesso tempo l’autonomia. Questa tesi propone una strategia decisionale basata su una Rete Neurale Grafica (GNN) per l’allocazione dinamica dei compiti al robot. Il processo di assemblaggio è modellato come un grafo: in ciascun passo decisionale, la GNN elabora lo stato corrente per determinare quale compito assegnare al robot, con l’obiettivo di ridurre il tempo totale di assemblaggio e adattarsi alle azioni imprevedibili dell’operatore umano. L’addestramento della GNN è guidato da un algoritmo di Q-learning appositamente progettato, che esplora diversi scenari di assemblaggio e definisce comportamenti target per il robot, premiando le scelte più efficienti. Le sequenze così ottenute vengono utilizzate per addestrare la GNN su un ampio dataset di assemblaggi con caratteristiche eterogenee, consentendo al modello di generalizzare su strutture differenti. Durante l’esecuzione, lo stato dell’assemblaggio viene continuamente aggiornato in base alle azioni umane, consentendo al robot di adattare le proprie decisioni in tempo reale. Una procedura online di fine-tuning consente inoltre di personalizzare i pesi della rete sullo specifico assemblaggio, riducendo ulteriormente i tempi di esecuzione. L’approccio proposto è stato validato tramite simulazioni offline ed esperimenti online su casi reali di assemblaggio, considerando anche variazioni dinamiche nei compiti che caratterizzano la struttura dell’assemblaggio.