Automatic hand pose optimization for kinematically coherent visual stimuli in mixed reality environments addressing action observation therapy

Action Observation Therapy (AOT) is a rehabilitation approach that leverages the mirror neuron system by having patients observe and imitate goal-directed movements. By watching movements performed by others, patients activate neural circuits involved in the execution of the movement itself, enhancing motor recovery and functional performance. In recent years, visual stimuli have also been designed using motion capture systems and eXtended Reality (XR) environments. In the context of AOT, this thesis specifically addressed the challenge of improving the realism of virtual hands while grasping objects in mixed reality (MR) environments. Traditional motion capture systems often produce unnatural hand poses due to artifacts and discrepancies between recorded and real-world data. To overcome these limitations, this thesis introduced an optimization pipeline, which specifically fits between raw motion data and the animations realized in the MR environment, so as to obtain kinematically coherent visual stimuli for AOT. An animated kinematic model of the hand was developed, specifically incorporating static and dynamic constraints thus to filter finger joint rotations and ensure natural poses. Furthermore, a multi-variable genetic algorithm (GA) was implemented to optimize hand configurations addressing the grasping of cylindrical objects, by minimizing the distance between the finger and the object surfaces, while avoiding interpenetration; cylinders with different sizes and orientations were considered in the analysis. The optimized poses were integrated into a humanoid avatar, perfectly placed within the MR environment, specifically designed to maximize AOT outcomes. The proposed approach demonstrated significant improvements in the realism of hand poses, particularly for medium-radius cylinders (15–25 mm). The solution consistently enhanced initial hand configurations, even in cases where the initial data performed relatively well. For example, an average distance/penetration of 19.87 mm was reduced to 14.15 mm. This highlights the effectiveness of the optimization process in refining hand poses for more realistic and natural interactions.

L’Action Observation Therapy (AOT) è un approccio riabilitativo che sfrutta il sistema dei neuroni specchio, inducendo i pazienti a osservare e imitare movimenti mirati. Osservando i movimenti altrui, si attivano circuiti neurali coinvolti nell’esecuzione del movimento stesso, favorendo il recupero motorio e il miglioramento funzionale. Negli ultimi anni, gli stimoli visivi sono stati progettati anche con sistemi di motion capture e ambienti di eXtended Reality (XR). Nel contesto dell’AOT, questa tesi affronta la sfida di migliorare il realismo delle mani virtuali nella presa di oggetti in ambienti di mixed reality (MR). I sistemi di motion capture tradizionali generano spesso pose innaturali a causa di artefatti e discrepanze tra i dati registrati e quelli reali. Per superare tali limiti, è stata introdotta una pipeline di ottimizzazione che si colloca tra i dati grezzi e l’importazione delle animazioni nell’ambiente MR, garantendo stimoli visivi coerenti dal punto di vista cinematico per l’AOT. È stato sviluppato un modello cinematico animato della mano, con vincoli statici e dinamici per filtrare le rotazioni articolari delle dita e ottenere pose naturali. Inoltre, un algoritmo genetico (GA) a variabili multiple è stato implementato per ottimizzare le configurazioni della mano nella presa di oggetti cilindrici, minimizzando la distanza tra dita e superficie dell’oggetto ed evitando interpenetrazioni. Sono stati considerati cilindri di diverse dimensioni e orientamenti. Le pose ottimizzate sono state integrate in un avatar umanoide, posizionato in un ambiente MR progettato per massimizzare gli effetti dell’AOT. L’approccio proposto ha migliorato significativamente il realismo delle pose della mano, in particolare per cilindri di raggio medio (15–25 mm). La soluzione ha ottimizzato le configurazioni iniziali anche quando i dati di partenza erano già relativamente accurati. Ad esempio, una distanza/penetrazione media di 19,87 mm è stata ridotta a 14,15 mm. Ciò evidenzia l’efficacia del processo di ottimizzazione nel perfezionare le posizioni delle mani per interazioni più realistiche e naturali.