Dual-camera markerless motion capture system for lower limb joint tracking

Motion analysis plays a fundamental role in numerous fields, from sports science to rehabil- itation, allowing the study and evaluation of human movement. Traditional marker-based systems, while highly accurate, present limitations such as high costs, complex setup, and restrictions in natural movement. To overcome these issues, markerless motion capture methods have gained increasing attention, exploiting advances in computer vision and machine learning. This thesis born by the experimental activity conducted during the ActivE3 project at the Human Performance Laboratory at the Lecco Campus of the Politecnico di Milano. During the project, aimed to explore new methodologies for rehabilitation and movement analysis and to promote inclusiveness and accessibility in physical activity assessments, the Nirvana BTS system was employed. Although the system provided highly engaging and beneficial for fostering movement participation, it lacked the capability to quantita- tively measure joint kinematics. This limitation highlighted the necessity for a reliable, markerless motion tracking solution, to bridge the gap between interactive rehabilitation technologies and precise motion tracking, ensuring a quantitative evaluation. The study focuses on the development of a markerless motion analysis system designed to be accessible and reliable for clinical and sports applications. The proposed system employs two cameras to record movement, the MediaPipe framework to extract body keypoints, and MATLAB for the computation of knee flexion-extension angles and data processing. The system was validated through experimental trials involving human subjects perform- ing standardized motion tasks. The computed joint angles were compared against mea- surements obtained using the XSens IMU-based motion capture system, which is consid- ered the gold standard in the field. The results demonstrate that the proposed markerless system provides accurate joint angle estimations, supporting its potential application in real-world scenarios where traditional motion capture is impractical.

L’analisi del movimento riveste un ruolo fondamentale in numerosi ambiti, dalla scienza dello sport alla riabilitazione, permettendo di studiare e valutare il movimento umano. I sistemi tradizionali basati su marker, pur garantendo un’elevata precisione, presentano limiti quali alti costi, complessità di configurazione e restrizioni nei movimenti naturali. Per superare tali problematiche, le tecnologie markerless stanno guadagnando sempre più attenzione, grazie ai progressi nella realtà virtuale e nell’apprendimento automatico. Questa tesi nasce dall’attività sperimentale condotta durante il progetto ActivE3 presso l’Human Performance Laboratory del Campus di Lecco del Politecnico di Milano. Durante il progetto, volto a esplorare nuove metodologie per la riabilitazione e l’analisi del movi- mento, nonché a promuovere l’inclusività e l’accessibilità nelle valutazioni dell’attività fisica, è stato impiegato il sistema Nirvana BTS. Sebbene da una parte il sistema si sia rivelato coinvolgente, dall’altra si è dimostrato limitante nella possibilità di misurare quantitativamente la cinematica articolare, evidenziando la necessità di una soluzione af- fidabile per il tracciamento markerless del movimento, al fine di colmare il divario tra le tecnologie interattive e il monitoraggio. Questa tesi si concentra sullo sviluppo di un sistema di analisi del movimento marker- less progettato per essere accessibile e affidabile in ambito clinico e sportivo. Il sistema proposto utilizza due telecamere per registrare il movimento, la libreria MediaPipe per estrarre i keypoints del corpo e MATLAB per il calcolo dell’angolo di flesso-estensione del ginocchio e l’elaborazione dei dati. Il sistema è stato validato attraverso prove sperimentali su soggetti impegnati in task motori standardizzati. Gli angoli articolari stimati sono stati confrontati con le misure ottenute mediante il sistema di motion capture basato su IMU XSens, considerato il gold standard nel settore. I risultati dimostrano che il sistema markerless proposto fornisce stime accurate degli angoli articolari, supportando la sua possibile applicazione in contesti reali dove l’uso di sistemi tradizionali risulta complesso.