Enhanced particle filter with environment reconstruction for human pose estimation in human-robot interaction

Collaborative robotics aims at integrating the accuracy and repeatability of an industrial robot with the skills and flexibility of a human operator in performing complex tasks, thus increasing the level of adaptability of the whole team. Robots designed to work side by side with humans often rely on vision sensors to acquire knowledge about the surrounding environment and their human partners, both for safety and for coordination issues. Therefore, a potential improvement in this field consists in increasing the accuracy of the human pose estimation. This problem requires to determine in real time the space occupied by the operator, as well as his/her movements. This goal clashes with the difficulty of acquiring and correlating enough data while relying on a single fixed sensor. The purpose of this thesis is to provide an innovative approach that improves the human pose estimation procedure, while reducing the associated uncertainty. To this aim, a constrained version of the Particle Filter algorithm was created. In fact, the traditional Particle Filter algorithm was integrated with a detailed virtual model of the real environment where a human operator and a robot can cooperate. Moreover, a constraint based on the limits of mobility of the human joints was added. In this way the estimate of the unknown or uncertain human pose is allowed to propagate in a well-limited volume, whose boundaries are given by the geometrical surfaces of the operator's environment and the ones due to his/her physical structure. The user's environment was reconstructed using the Mixed Reality device Microsoft HoloLens v1, while the human skeletal poses during the working activity were acquired with the Microsoft Kinect v2. To build a unique model able to describe the workspace, these data were merged using a technique based on the simultaneous pose estimation of a fiducial marker, a ChArUco board. The results obtained in a comparative experimental validation in a realistic industrial scenario showed that the improvements to the algorithm reduced both the error and the uncertainty associated to the estimation procedure, respectively of the 25\% and of the 90\% on average, with respect to the original Particle Filter version.

La robotica collaborativa mira a integrare la precisione e ripetibilità dei robot industriali con l'abilità e la flessibilità di un operatore umano nell'eseguire compiti complessi, aumentando quindi il livello di adattabilità del team collaborativo. I robot progettati per lavorare fianco a fianco di utenti umani fanno spesso affidamento su sensori di visione per acquisire conoscenza circa l'ambiente circostante e i loro collaboratori, per esigenze sia di sicurezza che di coordinazione. Di conseguenza un potenziale miglioramento in questo settore è l'incremento della precisione della stima della posa dell'operatore. Questo problema richiede di determinare in tempo reale lo spazio occupato dall'utente, così come i suoi movimenti. Tale obiettivo tuttavia si scontra con la difficoltà di ottenere dati sufficienti utilizzando un singolo sensore in posizione fissa. Questa tesi mira a fornire un approccio innovativo che migliori il processo di stima e ne riduca l'incertezza. Per perseguire questo scopo è stata creata una versione di Particle Filter con dei vincoli aggiuntivi. Infatti l'algoritmo tradizionale del Particle Filter è stato integrato con un modello virtuale dettagliato dell'ambiente dove si trovano a collaborare l'operatore e il robot. E' stato inoltre aggiunto un vincolo basato sui limiti di mobilità delle articolazioni umane. In questo modo ai possibili risultati della stima della posa dell'operatore in situazioni di incertezza è consentita la propagazione in un volume ben definito, i cui limiti sono dettati dalle superfici dell'ambiente di lavoro e dalla struttura fisica dell'utente. La ricostruzione della cella di lavoro è stata effettuata utilizzando un dispositivo per la Realtà Mista, HoloLens v1 di Microsoft, mentre la posa dello scheletro dell'operatore durante l'attività lavorativa è stata acquisita utilizzando Kinect v2, sviluppato anch'esso da Microsoft. Per creare un modello in grado di descrivere lo spazio di lavoro, i dati sono stati integrati tra loro utilizzando una tecnica basata sulla stima simultanea della posa di un marker fiduciario, una scheda ChArUco. I risultati ottenuti in una validazione sperimentale comparativa in uno scenario industriale realistico mostrano che i miglioramenti apportati all'algoritmo riducono sia l'errore che l'incertezza associati al processo di stima, rispettivamente del 25\% e del 90\% in media, rispetto alla versione originale del Particle Filter.