Design and validation of an out-of-the-lab camera based method for elbow angle estimtation using Mediapipe and an Extended Kalman Filter

The ACCEPT project aims to promote indoor climbing as a rehabilitation therapy for children with Cerebral Palsy (CP) and gather quantitative data on their training performances. This thesis work arises from the necessity of an accurate motion capture system to extract three-dimensional (3D) kinematic data in an out-of-the-lab setting. From the literature review on human motion capture methods, emerges a trend of developing more flexible, portable, and low-cost technologies than the current gold standard marker-based optoelectronic system. These features can be achieved by using wearable sensors, such as Inertial Measurement Units (IMUs), active video-based systems, or passive video-based systems. IMUs are limited in terms of accuracy, especially due to the presence of magnetic disturbances. Active video-based systems use depth sensors to extract 3D information and are highly sensitive to lighting conditions. Passive video-based systems based on a single view, are gaining more attention thanks to the advancements in Convolutional Neural Networks (CNN). However, given the high complexity of this task, current advances have still not provided sufficiently accurate 3D pose estimates to be applied in a clinical setting. With this thesis work, a video-based, out-of-the-lab method has been implemented through Mediapipe Pose, a real-time CNN pose estimator able to run on all electronic devices. However, the estimate of 3D coordinates from monocular images shows poor accuracy. For this reason, the proposed system is based on two video cameras to improve the 3D estimate. An Extended Kalman Filter (EKF) has been employed to combine the information from the two videos extracting the optimal 3D coordinates and computing the orientation between the two cameras, thus allowing a calibration-free system. The developed method has been validated against the optoelectronic system for the extraction of 3D elbow angle by asking four subjects to perform a complete flexion-extension of the arm. Simultaneously, also IMUs data have been collected to compute the same measure. With the Mediapipe plus the EKF method, an error of the Range Of Motion (ROM) estimate 5.99° for two subjects has been obtained, indicating great potential in this system. However, the worst accuracy obtained for the other two subjects indicates a poor reliability of this system. The results of IMUs are more repeatable but with similar errors, obtaining a ROM of 8.98°. To conclude, the results obtained with this method are promising given its flexibility, ease of use, and portability. However, further implementations are needed to make the EKF more robust, and further validity studies should be made with a larger number of patients to better assess the reliability of this system.

Il progetto ACCEPT mira a promuovere l'arrampicata indoor come terapia riabilitativa per i bambini con paralisi cerebrale (CP) raccogliendo dati quantitativi sulle loro prestazioni. Questo progetto di tesi nasce dall'esigenza di un sistema accurato di acquisizione della cinematica del movimento in tre dimensioni (3D) in un ambiente esterno al laboratorio (in seguito “out-of-the lab”). La letteratura riguardante i diversi metodi di acquisizione del movimento umano rivela la necessità di sviluppare tecnologie più flessibili, portatili e a basso costo rispetto all'attuale sistema optoelettronico basato su marcatori, nonché il gold-standard in questo ambito. Queste caratteristiche possono essere ottenute con l'uso di sensori indossabili, definiti Inertial Measurement Units (IMU), sistemi video-based attivi o passivi. Le IMU possono avere una precisione limitata, che può essere compromessa dalla presenza di disturbi magnetici. I sistemi video-based attivi utilizzano sensori di profondità per estrarre informazioni 3D e sono molto sensibili all'illuminazione dell'ambiente in cui operano. I sistemi video-based passivi, basati su una singola vista, stanno attirando sempre più attenzione grazie ai progressi sui Convolutional Neural Networks (CNN). Tuttavia, a causa dell'elevata complessità di estrarre le coordinate 3D da immagini bidimensionali, non sono ancora disponibili sistemi di estrazione della postura 3D sufficientemente accurate da poter essere applicate in ambito clinico. In questo lavoro, un metodo video-based e out-of-the-lab è stato implementato attraverso l'utilizzo di Mediapipe Pose, un real-time CNN che estrae la postura 3D ed è compatibile con ogni tipologia di dispositivo elettronico, nonché a basso costo computazionale. Tuttavia, la stima delle coordinate 3D mostra una scarsa accuratezza. Pertanto, il sistema proposto è stato sviluppato con due telecamere per migliorare tale stima. Le informazioni provenienti dai due video vengono processate con Mediapipe e poi combinate mediante un Filtro di Kalman Esteso (EKF) , il quale estrae le coordinate 3D ottimali e l'orientamento tra le due telecamere, ottenendo così un sistema che non necessita calibrazione. Il metodo sviluppato è stato validato rispetto al sistema optoelettronico per l'estrazione dell'angolo del gomito in 3D, chiedendo a quattro soggetti di eseguire una flesso-estensione completa del braccio. Contemporaneamente, sono stati raccolti anche i dati delle IMU per effettuare la stessa misurazione. Con il metodo Mediapipe più EKF, è stato ottenuto un errore di stima del Range Of Motion (ROM) di 5.99° per due soggetti, indicando un grande potenziale di questo sistema. Tuttavia, risultati peggiori sono stati ottenuti per gli altri due soggetti evidenziando una scarsa ripetibilità di questo sistema. I risultati delle IMU invece sono più ripetibili ma con errori simili, ottenendo un ROM di 8.98°. In conclusione, i risultati ottenuti con questo metodo sono promettenti, data la sua flessibilità, facilità d'uso e portabilità. Ciononostante, sono necessari dei miglioramenti per rendere l'EKF più robusto. Inoltre, ulteriori studi di validità dovrebbero essere condotti con un numero maggiore di pazienti per valutare meglio l'affidabilità di questo sistema.