Human pose estimation in case of occlusions for safe and productive Human-Robot Interaction

Collaborative robotics over the last few years has gained increasing interest in the industrial scenario. Collaborative robots, also called cobots, are equipped with sensors that allow them to perceive the surrounding environment. In particular, with regard to the synchronization of operations carried out by human and robot, a key role is taken by vision sensors. These sensors allow the robot to figure out where the human is at a certain time, to understand what task he is doing and even to predict his future actions. At the basis of such processes, there is the human pose estimation algorithm. Estimating pose by an image is a difficult task for a number of reasons: variability of human visual appearance in images, variability in lighting conditions, variability in human aspect, partial occlusions, complexity of human skeletal structure and the loss of 3D information that results from observing the pose from 2D planar image projections, etc.. This problem has been approached using several techniques, but the one most used to estimate the human pose is for sure the Kalman filter. However, this technique presents some weaknesses, in particular, it is complex to include occlusions in the estimation process. This work aims to provide a solution to the problem of pose estimation of the operator in the situations of partial occlusion. The estimation algorithm proposed here is based on the particle filter technique which, as we will see, allows to introduce constraints in the estimation process that take into account possible occlusions. The algorithm has been implemented to use the depth data provided by the Kinect V2. Finally, the results obtained have been compared to those obtained by applying the Kalman filter.

La robotica collaborativa nel corso degli ultimi anni ha acquisito crescente interesse nello scenario industriale. I robot collaborativi, anche detti cobot, vengono sempre più dotati di sensori che permettono loro di percepire l'ambiente che li circonda. In particolare, per quanto riguarda la sincronizzazione delle operazioni svolte da uomo e robot, un ruolo fondamentale è occupato dai sensori di visione. Questi sensori consentono al robot di capire dove si trova l'uomo in un certo istante di tempo, di capire quale compito sta svolgendo e addirittura di prevedere le sue azioni future. Alla base di queste capacità si trova l'algoritmo per la stima della posa dell'uomo. Stimare la posa da un'immagine è un problema non facile per numerose ragioni: complessità della struttura del corpo umano, variabilità nel fisico, condizioni di illuminazione ambientale, possibili occlusioni nella scena, perdita delle informazioni dovuta all'osservazione della posa da proiezioni di immagini planari 2D, eccetera. Questo problema è stato affrontato con diverse tecniche, tuttavia quella sicuramente più utilizzata per stimare la posa dell'uomo è quella il filtro di Kalman. Questa tecnica presenta però alcuni punti deboli, in particolare risulta complesso tenere in considerazione le occlusioni nel processo di stima. Questo lavoro vuole fornire una soluzione al problema della stima della posa in situazioni di occlusione parziale dell'operatore. L'algoritmo di stima qui proposto si basa sulla tecnica del particle filter che, come vedremo, consente di introdurre vincoli nel processo di stima che tengono conto delle possibili occlusioni. L'algoritmo è stato implementato per utilizzare i dati di profondità forniti dal sensore Kinect V2. Infine i risultati ottenuti sono stati confrontati con quelli ottenuti applicando il filtro di Kalman.