HoloLearn : mixed reality experiences for persons with neurodevelopmental disorders

The aim of this research is to investigate the opportunities that Mixed Reality (MR) offers in the context of new forms of therapy for people with Neurodevelopmental Disorders (NDD). For this reason, we designed and implemented HoloLearn, a MR application for Microsoft HoloLens aimed at this target group of people and the caregivers who assist them. HoloLearn contains a set of activities designed with the support of NDD experts, who helped us to identify the needs of these people in their daily life. The main goal of HoloLearn is to improve their autonomy in a domestic setting. Using HoloLearn, people are immersed in a MR environment where they can practice with activities resembling simple daily routines, such as setting the table, recycling, dressing appropriately according to weather forecasts, etc. A peculiarity of the application is that of embedding a virtual assistant, which helps users to carry out the activities by giving them brief suggestions and maintaining a high level of involvement and enjoyment. As part of this research, two exploratory studies have been conducted, consisting of the use of the application by people with NDD. The first study involved 20 subjects with NDD and was aimed at investigating the acceptability and usability of HoloLearn and its potential as a therapeutic tool. The results, although preliminary given the brief exposure of the participants to this technology, are generally positive and highlight a high level of satisfaction with the experience. The second study, which involved 30 participants with NDD, was focused on analyzing the effectiveness of the virtual assistant within a specific activity, as well as identifying the functioning level at which MR activities are more effective. The results obtained are promising, and indicate that with the presence of the virtual assistant there has been a decrease both in the time necessary to perform the activity and in the number of errors committed during it. Furthermore, the studies conducted have provided us with many ideas on how to enhance various aspects of the application, such as facilitating the ways to interact with HoloLens, or introducing the possibility to share the MR experience among more than one person. To validate the results obtained from these studies, more extensive and long-term research is needed, but the work done so far suggests that HoloLearn can be exploited as a complement to more traditional therapies. Our research, and the lessons we learned, could be an inspiration for designers and developers to realize future MR applications for people with NDD and other people with similar needs.

L'obiettivo di questa ricerca è studiare le opportunità che la Realtà Mista (MR) offre nell'ambito di nuove forme di terapia per persone con disturbi del neurosviluppo (NDD). Per questo motivo abbiamo progettato e implementato HoloLearn, un'applicazione MR per Microsoft HoloLens rivolta questo target di persone e ai terapisti che si prendono cura di loro. Le attività contenute nell'applicazione sono state progettate con il supporto di esperti di NDD, che ci hanno aiutato a identificare i bisogni di queste persone nella loro vita quotidiana. L'obiettivo principale che si pone HoloLearn è quello di migliorare la loro autonomia in un ambiente domestico, tramite delle attività che ricordano delle semplici routine quotidiane, come apparecchiare la tavola, fare la raccolta differenziata, vestirsi adeguatamente a seconda delle previsioni meteo, ecc. Una particolarità dell'applicazione è quella di includere un assistente virtuale, che aiuta gli utenti a svolgere le attività dando brevi indicazioni e mantenendo alto il livello di coinvolgimento e divertimento. Come parte di questa ricerca, sono stati condotti due studi esplorativi consistenti nell'utilizzo dell'applicazione da persone con NDD. Il primo studio ha coinvolto circa 20 soggetti con NDD con l’obiettivo di investigare l'accettabilità e l'usabilità di HoloLearn e le sue potenzialità come strumento terapeutico. I risultati, nonostante preliminari data la breve esposizione dei partecipanti a questa tecnologia, sono positivi e sottolineano un alto livello di gradimento dell'esperienza. Il secondo studio, che ha coinvolto 30 partecipanti con NDD ed è stato organizzato in modo più articolato, si è focalizzato ad analizzare l'efficacia dell'assistente virtuale all'interno di una specifica attività, oltre che ad ottenere delle conferme sul fatto che le esperienze di MR siano più adatte ad un pubblico con disabilià cognitive di entità lieve o moderata. I risultati ottenuti sono promettenti, e suggeriscono che con la presenza dell'assistente virtuale si è verificata una diminuzione sia del tempo impiegato per eseguire l'attività, sia del numero degli errori commessi durante essa. Inoltre, gli studi condotti ci hanno fornito molti spunti su come potenziare l'applicazione sotto diversi aspetti, come facilitare il meccanismo di interazione con HoloLens, oppure introdurre la possibilità condividere l'esperienza MR in tempo reale tra più persone. Per validare i risultati ottenuti da questi studi è necessaria una ricerca più estensiva e a lungo termine, ma il lavoro svolto suggerisce che HoloLearn può essere sfruttato come complemento alle terapie più tradizionali. Il nostro lavoro, e le lezioni che abbiamo imparato da esso, potrebbe essere di aiuto a designer e sviluppatori per realizzare future applicazioni MR indirizzate a persone con NDD e ad altre persone con bisogni simili.