Enhancing rehabilitation and sports inclusion through VR and MR in unity

Recently there have been so many advancements in the field of Virtual Reality (VR) and Mixed reality (MR) and is currently trending with much more to come in future. This study explores the use of VR and MR technology to enhance physical therapy, educational experiences and sports inclusion for children with special needs, like those with Down syndrome and Autism Spectrum Disorder (ASD). We developed a Unity-based application integrating MR to provide realistic and immersive simulations of various activities using simulators in the lab. Additionally, we integrated a marker-less motion tracking system, to monitor and record the user’s skeletal movements to control the MR simulations. Through Unity, the user's bone motions dictated the playback of the pre-recorded videos played in VR headset, offering a realistic VR experience of performing various activities when mimicked correctly. This setup not only allowed for real-time feedback and control but also facilitated the tracking and analysis of skeletal statistical and graphical data to perform a post study to track the user's performance and progress after every session. This innovative approach shows significant potential for rehabilitation of post-stroke patients, physical therapy sessions, and sports inclusivity for students with special needs, as well as offering realistic experiences of inaccessible locations for individuals with disabilities and the elderly. Our findings suggest that VR/MR technology can significantly enhance educational and rehabilitative outcomes by providing engaging and adaptive environments. In the present work, the inclusive MR-based technology is tested on a group of students with walking, cycling and kayaking simulator in Virtual environment, and the final outcomes in terms of system usability and cognitive study set by an physician are presented.

Recentemente ci sono stati così tanti progressi nel campo della realtà virtuale (VR) e della realtà mista (MR) e attualmente si prevede che molti altri arriveranno in futuro. Questo studio esplora l’uso della tecnologia VR e MR per migliorare la terapia fisica, le esperienze educative e l’inclusione sportiva per i bambini con bisogni speciali, come quelli con sindrome di Down e disturbo dello spettro autistico (ASD). Abbiamo sviluppato un'applicazione basata su Unity che integra la RM per fornire simulazioni realistiche e coinvolgenti di varie attività utilizzando simulatori in laboratorio. Inoltre, abbiamo integrato un sistema di tracciamento del movimento senza marcatori, per monitorare e registrare i movimenti scheletrici dell’utente per controllare le simulazioni MR. Attraverso Unity, i movimenti ossei dell'utente determinano la riproduzione dei video preregistrati riprodotti nelle cuffie VR, offrendo un'esperienza VR realistica nell'esecuzione di varie attività se imitate correttamente. Questa configurazione non solo ha consentito feedback e controllo in tempo reale, ma ha anche facilitato il monitoraggio e l'analisi dei dati statistici e grafici scheletrici per eseguire uno studio post per monitorare le prestazioni e i progressi dell'utente dopo ogni sessione. Questo approccio innovativo mostra un potenziale significativo per la riabilitazione di pazienti post-ictus, sessioni di terapia fisica e inclusione sportiva per studenti con bisogni speciali, oltre a offrire esperienze realistiche di luoghi inaccessibili per persone con disabilità e anziani. I nostri risultati suggeriscono che la tecnologia VR/MR può migliorare significativamente i risultati educativi e riabilitativi fornendo ambienti coinvolgenti e adattivi. Nel presente lavoro, la tecnologia inclusiva basata sulla risonanza magnetica viene testata su un gruppo di studenti con un simulatore di camminata, ciclismo e kayak in ambiente virtuale e vengono presentati i risultati finali in termini di usabilità del sistema e studio cognitivo stabiliti da un medico.