Decision making in HRC combining offline path planning and Machine Learning methods

The advent of Industry 4.0 marks a significant transformation towards a digitalized and automated manufacturing environment. Collaborative robotics is a milestone of this development, promoting a synergistic relationship between humans and robots to enhance productivity. Ensuring safety is one of the key challenges in this field, as cobots are designed to work in close proximity to humans without causing any harm. This thesis explores the technical challenges of designing a collaborative robotic system that can operate both safely and effectively. The methodological approach includes an offline generation of a dataset of feasible paths connecting the starting configuration to the goal using a Rapidly Exploring Random Tree algorithm. Subsequently, a Reinforcement Learning method is employed to enable the robot to dynamically select on which of the previously computed paths to travel and when to transition from a path to another, depending on the human worker presence. The goal is to empower the robot to autonomously identify the path that optimally balances maintaining a safe distance from the human worker with reducing the distance between its current configuration and the target one. The training and testing phases of the proposed algorithm are performed in a simulated environment. The established optimal policy is then validated on the GoFa™ robotic arm.

L’avvento dell’Industria 4.0 segna una significativa transizione verso un ambiente di produzione digitalizzato e automatizzato. La robotica collaborativa rappresenta una pietra miliare di questo sviluppo, promuovendo una relazione sinergica tra umani e robot per migliorare la produttività. Garantire la sicurezza è una delle principali sfide in questo campo poiché i cobot sono progettati per lavorare in stretta prossimità con gli umani senza causare danni. Questa tesi esplora le sfide tecniche nella progettazione di un sistema robotico collaborativo che possa operare in modo sicuro ed efficace. L’approccio metodologico include la generazione offline di un dataset di percorsi permessi che collegano la configurazione di partenza a quella finale utilizzando un algoritmo di Rapidly Exploring Random Tree. Successivamente, un metodo di Reinforcement Learning è impiegato per consentire al robot di selezionare dinamicamente su quale dei percorsi precedentemente calcolati viaggiare e quando passare da un percorso all’altro, a seconda della presenza dell’operatore umano. L’obiettivo è consentire al robot di identificare autonomamente il percorso che bilancia il mantenimento di una distanza di sicurezza dall’umano con la riduzione della distanza tra la sua configurazione attuale e quella obiettivo. Le fasi di addestramento e test dell’algoritmo sono state eseguite in un ambiente simulato. Successivamente, la politica di apprendimento è stata validata sul braccio robotico GoFa™.