Tangible mixed reality for people with neurodevelopmental disorders

Neurodevelopmental disorders (NDD) are pathologies that can appear in child’s early developmental process, limiting personal, cognitive and motor capabilities. The purpose of this thesis is to explore the potential of the Tangible Mixed Reality (TMR) in helping subjects affected by those pathologies. This term refers to a type of Mixed Reality (MR) including the interaction between MR devices and Smart Objects with tangible feedbacks. This innovative interaction paradigm has been instantiated in an application called Along the Oceanic Flow (ATOF). This application is designed to support NDD experts and has the goal to help people affected by NDD to improve motor and cognitive skills through game exercises. ATOF transforms the user’s room into an ocean floor full of interactive decorations in which the subject, leveraging the TMR interaction paradigm, has to complete different experiences by doing motor and cognitive tasks like collecting elements, avoiding obstacles and finding ways to open treasure chests. The tasks have been thought to be very easy to complete and, among them, there is an experience in which the difficulty of the exercises gradually increases during the game. Furthermore, all the experiences can be customized by the therapist in order to satisfy the specific needs of each user-patient, given the fact that each one of them will have a different degree of disability. An exploratory study involving 14 subjects affected by NDD has been performed to investigate the likability and usability of Along the Oceanic Flow and its potential as a therapeutic tool. ATOF was well-accepted by the participants and the activities in the TMR space were perceived as enjoyable and simple. A more extensive and long-term empirical research is needed to validate these early results, but the study suggests that ATOF, and more generally the applications based on the TMR paradigm, could be adopted as a complement to more traditional interventions. This work, the problems encountered, and the solutions implemented, could be inspirational for the designers and developers of future TMR applications dedicated to people affected by NDD and not only.

I disturbi del neuro-sviluppo (Neurodevelopmental disorders - NDD) sono patologie che si manifestano nelle prime fasi dello sviluppo di un individuo e che ne limitano le capacità personali, cognitive e motorie. Lo scopo di questa tesi è di esplorare il potenziale della Tangible Mixed Reality (TMR) per aiutare i soggetti affetti da queste patologie. Con questo termine si intende una tipologia di Mixed Reality (MR) che include l’interazione tra dispositivi per la realtà mista ed oggetti “intelligenti” (Smart Objects) con feedback tangibili. Questo innovativo paradigma di interazione è stato istanziato in un’applicazione denominata Along the Oceanic Flow (ATOF). L'applicazione è stata progettata per supportare terapisti esperti nel campo dei disturbi del neuro-sviluppo, ed ha l’obiettivo di aiutare i soggetti affetti da queste patologie a migliorare le proprie abilità motorie e cognitive mediante esercizi presentati sottoforma di gioco. ATOF trasforma la stanza dell’utente in un fondale oceanico ricco di decorazioni interattive in cui il soggetto, sfruttando il paradigma TMR, deve completare diverse esperienze eseguendo compiti cognitivi e motori quali collezionare elementi, evitare ostacoli e trovare modi per aprire scrigni del tesoro. Le attività da svolgere sono state pensate in modo da essere completate facilmente e, tra queste, è anche presente un’esperienza in cui la difficoltà degli esercizi aumenta gradatamente durante il gioco. Inoltre, tutte le esperienze possono essere personalizzate dal terapista in modo da soddisfare le specifiche esigenze di ogni utente-paziente, dato che ognuno di essi avrà un diverso grado di invalidità. Uno studio esplorativo che ha coinvolto 14 soggetti affetti da NDD è stato eseguito per investigare il gradimento e l’usabilità di ATOF, così come il suo potenziale come strumento terapeutico. L’applicazione è stata ben accettata dai partecipanti e le attività nello spazio TMR sono state percepite come gradevoli e semplici. È necessaria una più ampia ricerca empirica e a lungo termine per convalidare questi primi risultati. Tuttavia, lo studio empirico suggerisce che l’applicazione ATOF, e più in generale le applicazioni basate sul paradigma TMR, potrebbero essere adottate come complemento ad interventi più tradizionali. Questo lavoro, i problemi incontrati e le soluzioni implementate, potrebbero essere di ispirazione per progettisti e sviluppatori di future applicazioni TMR dedicate a persone affette da NDD, così come altri gruppi di utenti con diverse forme di disabilità cognitive.