Validation of a MediaPipe system for markerless motion analysis during virtual reality rehabilitation

Movement analysis has increased in relevance over the last few years in a number of different disciplines. Markerless systems and inertial sensors, such as the inertial measurement units (IMUs), offer significant advantages over traditional marker based methods as they do not require laboratory conditions or marker placement. Virtual reality (VR) is an innovative technology used in rehabilitation and it has recently been investigated as a tool for obtaining kinematic motion data. The aim of this research is to validate a markerless system that uses a MediaPipe based algorithm to reconstruct the joint kinematics of the upper and lower limbs during exercises proposed by the Nirvana VR rehabilitation system. The first phase validates a markerless system, in which videos are recorded by a camera and processed using a machine learning algorithm to extract keypoints, by comparing it with the IMU-validated system developed by Xsens. During this phase, 7 healthy subjects were investigated at the Politecnico di Milano focusing on knee, hip, elbow flexion-extension and shoulder abduction-adduction. The MediaPipe algorithm demonstrated high performance in tracking movements of the lower limbs, although it was less accurate for the upper limbs, as indicated by the root mean square error (RMSE) and percentage root mean square error (%RMSE) values. However, in terms of intraclass correlation coefficient (ICC) and Spearman’s coefficient it faithfully replicated the time course of all angles, suggesting the feasibility of integrating VR into rehabilitation and movement analysis. Following this phase, the research progressed to a clinical application without IMU sensors. The Nirvana system, installed at Fondazione TOG in Milan, was used to stimulate the movement of 2 subjects diagnosed with partial left-sided hemiparesis affecting their upper and lower left limbs. The aim was to evaluate the motion detection algorithm in a pathological and less controlled context, based on the temporal analysis of angles and their graphical representation. The results confirmed the effectiveness of the system, through differences in mean angle values and range of motion between pathological and healthy limbs. This has established the basis for future studies to be conducted over longer periods and with larger samples of pathologies to improve reliability over time and assess clinical applicability of the system.

L’analisi del movimento ha acquisito crescente rilevanza in vari ambiti disciplinari nel corso degli ultimi anni. I sistemi markerless e le unità di misura inerziale (IMUs), offrono vantaggi significativi rispetto ai metodi tradizionali basati su marcatori, evitando stringenti condizioni di laboratorio o il posizionamento di marcatori sul soggetto. La realtà virtuale (RV) è all’avanguardia nel campo riabilitativo e recentemente è stata esplorata come strumento per acquisire dati cinematici del movimento. Questo studio ha la finalità di validare un sistema markerless che utilizza un algoritmo basato su MediaPipe per ricostruire la cinematica articolare degli arti superiori ed inferiori durante gli esercizi proposti dal sistema riabilitativo in RV Nirvana. Nella fase iniziale è stato validato un sistema markerless, registrando video con una telecamera ed analizzandoli mediante un algoritmo di machine learning per identificare i punti di interesse, confrontandolo successivamente con il sistema di IMUs sviluppato da Xsens. Sono stati analizzati 7 soggetti sani presso il Politecnico di Milano, concentrandosi sulla flessione-estensione del ginocchio, dell’anca, del gomito e sull’ abduzione-adduzione della spalla. L’algoritmo MediaPipe ha dimostrato elevate prestazioni nel tracciamento dei movimenti degli arti inferiori, sebbene sia risultato meno preciso per gli arti superiori, come indicato dai valori assoluti e percentuali di errore quadratico medio (RMSE e %RMSE). Tuttavia, in termini di coefficienti di correlazione intraclasse (ICC) e di Spearman ha replicato fedelmente l’andamento temporale degli angoli, suggerendo la fattibilità di integrare la RV nella riabilitazione e nell’analisi del movimento. Successivamente, lo studio si è orientato verso un’applicazione clinica senza l’uso di sensori IMU, utilizzando il sistema Nirvana presso Fondazione TOG di Milano per analizzare il movimento in 2 soggetti con emiparesi parziale sinistra degli arti superiori ed inferiori. L’obiettivo era valutare l’algoritmo nella rilevazione del movimento in un contesto patologico e meno controllato, basandosi sull’analisi temporale e sulla rappresentazione grafica degli angoli. I risultati hanno confermato l’efficacia del sistema tramite differenze nei valori angolari medi e nell’ampiezza di movimento tra arti patologici e sani. Tale lavoro pone le basi per ricerche future, che dovrebbero includere periodi e campioni di patologie più ampi, al fine di migliorare l’affidabilità nel tempo e clinica del sistema.