Object detection and human intent prediction for collaborative robotics applications

This work presents a novel approach for Human-Robot Collaboration based on Neural Networks. The methodology aims at satisfying two core functions, which are paramount in a collaborative robotics application: identify, through computer vision algorithms, the position of objects in the workspace and plan the robot trajectory that minimizes the risk of collisions with the human operator. The first goal is achieved using the YOLOv3 algorithm that employs a CNN and an RGB image of the robotic cell, which in combination with a depth sensor, allows the robot to identify in real-time the position of all the relevant objects in the workspace. The second goal is satisfied using an RNN able to predict the future position of the worker. This allows to instruct the robot to minimize the risk of collisions during operation, using a proper control strategy. This framework has been tested experimentally on several subjects performing a picking task together with a collaborative robot, showing that the increasing knowledge of the operator movements enhances the worker safety.

Questo lavoro presenta un nuovo approccio per la collaborazione uomo-robot basato su reti neurali. La metodologia mira a soddisfare due funzioni fondamentali: identificare, tramite algoritmi di visione artificiale, la posizione di oggetti sul piano di lavoro e pianificare la strategia di afferraggio che riduca al minimo il rischio di collisioni con l'operatore umano. Il primo obiettivo è raggiunto utilizzando l'algoritmo YOLOv3 che impiega una Rete Neurale Convoluzionale e un'immagine RGB della cella robotica. Questo, abbinato a un sensore di profondità, permette al robot di identificare in tempo reale la posizione di tutti gli oggetti rilevanti nello spazio di lavoro. Il secondo obiettivo è soddisfatto utilizzando una Rete Neurale Ricorrente in grado di prevedere la posizione futura dell'operatore. Questo permette di fornire al robot istruzioni che minimizzano il rischio di collisioni durante il funzionamento, utilizzando una strategia di controllo appositamente definita. Questa struttura è stata testata sperimentalmente con un'operazione di raccolta di mele in collaborazione con un robot da parte di diversi volontari.