Human motion tracking using OpenPose and stereoscopic vision

This work is focused on the study of the possibility to use the machine learning libraries OpenPose as a 2D and 3D human motion tracking system. OpenPose libraries allow detecting the 2D pose of multiple people in an image in terms of body, face and hands keypoints. The first part of the work focused on the implementation of algorithms to import the OpenPose results in MATLAB, on the rejection of unreliable data and on the organization of different subjects present on the scene. After these preliminary steps, we developed a method that, using stereoscopic vision, passes from 2D to 3D coordinates. The cameras calibration procedure and triangulation process are presented. The last part of the work is focused on the characterization of the accuracy in the 3D body reconstruction. Tests were performed by comparing the results obtained with the proposed method with those measured by a marker based human motion tracking system (BTS Smart DX 400) used as reference. Several tests have been performed in order to characterize the error in terms of trajectory estimation, measurements of angles between body parts, and gait analysis (step length, swing and stance time). Tests evidenced the good performances of the system: mean error on the gait length was 12.7 mm (with a STD of 8.7 mm) . The average error on the body angles was 2.52° (with a STD of 1.88°). Finally, in the trajectories reconstruction the error was 17.8 mm (with a STD of 10.3 mm).

Questo lavoro è focalizzato sullo studio della possibilità di utilizzare le librerie di machine learning OpenPose come un sistema di tracciamento del movimento umano 2D e 3D. Le librerie OpenPose consentono di rile-vare la posizione 2D di più persone in un'immagine in termini di punti caratteristici di corpo, viso e mani. La prima parte del lavoro è focalizzata sull'implementazione di algoritmi per importare i risultati di OpenPose in MATLAB, sulla censura dei dati inaffidabili e sulla riorganizzazione dei diversi soggetti presenti nella scena. Dopo questi passaggi preliminari, è stato sviluppato un metodo che, usando la visione stereoscopica, passa dalle coordinate 2D a quelle 3D. Vengono presentate la procedura di cali-brazione delle telecamere ed il processo di triangolazione. L'ultima parte del lavoro è focalizzata sulla caratterizzazione dell'accuratezza nella rico-struzione del corpo in 3D. I test sono stati eseguiti confrontando i risulta-ti ottenuti con il metodo proposto con quelli misurati da un sistema di tracciamento del movimento umano basato su marker (BTS Smart DX 400), utilizzato come riferimento. Sono stati condotti diversi test per ca-ratterizzare l'errore in termini di stima della traiettoria, misurazione dei più significativi angoli tra le parti del corpo e analisi del passo (lunghezza del passo, tempo di swing e di stance). I test hanno evidenziato le buone prestazioni del sistema: l'errore medio sulla lunghezza dell'andatura è ri-sultato pari a 12.7 mm (con STD di 8.7 mm); l'errore medio sugli angoli del corpo pari a 2.52 ° (con STD di 1.88 °); infine nella ricostruzione delle traiettorie si è ottenuto un errore di 17.8 mm (con STD di 10.3 mm).