Integration of kinematics and kinetics into a biomechanics model of the human hand for soft-real time trajectory estimation

Accurate estimation of human hand motion is crucial in multiple domains, including biomechanics, medical rehabilitation, robotics, and virtual/augmented reality. The majority of current methodologies rely exclusively on kinematic data, disregarding contact forces, hence limiting their ability to precisely predict physical interactions with the environment. This thesis seeks to advance research in the field by integrating both kinematic and kinetic data into a biomechanical hand model to enhance trajectory estimation accuracy in soft real-time. This research used the MyoSuite framework, which offers a sophisticated musculoskeletal hand model. The initial step was customizing the simulation environment by including contact sites in the distal phalanges to exert and quantify interaction forces. Subsequently, an estimating method based on the Unscented Kalman Filter (UKF) was developed to combine sensor data and predict motion in soft-real time. Additionally, a contact-constrained extension (CCUKF) was also used to improve force estimation accuracy and making the analysis more comprehensive for potential future improvements. Finally, an inverse kinematics approach was employed to synchronize the simulated model with the actual data. The model was first validated using synthetic data and then using experimental data obtained from a motion capture system including RGB-cameras and force-sensitive resistors (FSR). The findings indicate that integration of kinetics information into the estimation procedure enhances the accuracy of predicted trajectories under soft real-time conditions.

L'accurata stima del movimento della mano umana è fondamentale in vari ambiti, tra cui la biomeccanica, la riabilitazione medica, la robotica e la realtà virtuale/aumentata. Tuttavia, la maggior parte dei metodi esistenti si basa esclusivamente su dati cinematici, ignorando le forze di contatto, limitando la capacità di prevedere correttamente le interazioni fisiche con l'ambiente. Questa tesi affronta tale limitazione integrando dati cinematici e cinetici in un modello biomeccanico della mano per migliorare la precisione della stima della traiettoria in tempo quasi-reale. Il lavoro è stato sviluppato utilizzando il framework MyoSuite, che fornisce un modello avanzato della mano umana controllato muscolo-scheletricamente. Il primo passo riguarda la personalizzazione dell'ambiente di simulazione, includendo punti di contatto sulle falangi distali per applicare e misurare forze di interazione. Successivamente, è stato implementato un algoritmo di stima basato sul Filtro di Kalman Unscented (UKF), in grado di combinare dati provenienti da più sensori e predire la posizione della mano. Inoltre, per migliorare l’accuratezza delle forze stimate e rendere l'analisi più completa per futuri miglioramenti, è stato sviluppata un’estensione del filtro con vincoli di contatto (CCUKF). Infine, per sincronizzare il modello simulato con i dati reali, è stato implementato un algoritmo di cinematica inversa. Il modello è stato inizialmente validato con dati sintetici e successivamente con dati sperimentali acquisiti tramite un sistema di motion capture basato su telecamere RGB e sensori di forza (FSR). I risultati dimostrano che l'inclusione della cinetica nei processi di stima migliora la precisione della traiettoria predetta in tempo quasi-reale.