Integrating biosensors and wearable virtual reality

Neurological Development Disorder (NDD) is a generic term for a group of disorders that occur during the developmental period characterized by severe cognitive, social, communicative, motor, and emotional deficits. The use of interactive technologies is considered a promising approach to try to mitigate and analyze these disorders. Among the most used ones in this field there are those based on Virtual Reality (VR) and Mixed Reality (MR). These technologies are revealing effective because they can create copies of real environments that are completely controlled and safe, thus eliminating the sense of fear and discomfort that people with NDD experience in similar real contexts. Besides, these activities help to increase concentration and interest by making patients more motivated to perform them. These therapies based on the use of VR/MR can be integrated with new wearable biosensors, able to provide with sufficient precision biometric parameters from which the emotional state of the NDD user can be extracted. As a consequence, biosensors data can improve the analysis of the benefits and efficiency of the application of therapies to patients with NDD. This thesis designed and developed TWB, a platform that integrates stimuli from virtual activities with the collection and analysis of data from biosensors. The comparison of the results obtained during different sessions facilitates the evaluation of the patients' improvements. This comparison is possible through the creation of post-session reports that enable the overlapping analysis of collected data. A first prototype has been developed as part of a European project in an EIT Digital program, to consequently collect and implement the changes proposed by the various therapists who tested this tool. These changes have led to both a redefinition of the User Experience, to make it more intuitive and easy, and of the implementation architecture, to allow the integration of new functionalities and improve performances. A key feature of the platform is that it is transparent with respect to the implementation and the technologies of virtual activities and biosensors. This allows developers to create new activities or integrate new biosensors without having to make any changes to other modules and to be able to use the technology they consider appropriate. The effectiveness of the new graphic version of the platform was evaluated during an experiment involving several NDD specialists. This showed a greater simplicity and intuitiveness than the previous version.

Il Disordine dello Sviluppo Neurologico (NDD) è un termine generico per un gruppo di disturbi che si manifestano durante il periodo di sviluppo caratterizzato da gravi deficit cognitivi, sociali, comunicativi, motori ed emotivi. L'uso di tecnologie interattive è considerato un approccio promettente per cercare di mitigare e analizzare questi disturbi. Tra quelle più utilizzate in questo campo ci sono quelle basate sulla Realtà Virtuale (VR) e sulla Realtà Mista (MR). La peculiarità comune di queste tecnologie è la possibilità di realizzare ambienti completamente controllati e sicuri eliminando così il senso di paura e disagio che le persone affette da NDD provano in contesti reali simili. Inoltre, queste attività aiutano ad aumentare la concentrazione e l'interesse rendendo i pazienti più motivati a svolgerle. Queste terapie basate sull'uso di VR/MR possono essere integrate con nuovi biosensori indossabili, in grado di fornire con sufficiente precisione parametri biometrici da cui estrarre lo stato emotivo dell'utente NDD. Di conseguenza, i dati biometrici possono migliorare l'analisi dei benefici e dell'efficienza dell'applicazione delle terapie su pazienti con NDD. Questa tesi ha progettato e sviluppato TWB, una piattaforma che integra gli stimoli delle attività virtuali con la raccolta e l'analisi dei dati provenienti dei biosensori. Il confronto dei risultati ottenuti durante le diverse sessioni facilita la valutazione dei miglioramenti dei pazienti. Questo confronto è possibile attraverso la creazione di report post-sessione che consentono un'analisi mediante sovrapposizione dei dati raccolti. Un primo prototipo è stato sviluppato nell'ambito di un progetto europeo in un programma EIT Digital, per raccogliere e implementare successivamente i cambiamenti proposti dai vari terapeuti che hanno testato questo strumento. Questi cambiamenti hanno portato sia ad una ridefinizione della User Experience, per renderla più intuitiva e facile, sia dell'architettura implementativa, per consentire l'integrazione di nuove funzionalità e migliorare le prestazioni. Una caratteristica fondamentale della piattaforma è la sua trasparenza rispetto all'implementazione e alle tecnologie delle attività virtuali e dei biosensori. Questo permette agli sviluppatori di creare nuove attività o integrare nuovi biosensori senza dover apportare modifiche ad altri moduli e di poter utilizzare la tecnologia che ritengono appropriata. L'efficacia della nuova versione grafica della piattaforma è stata valutata durante un esperimento che ha coinvolto diversi specialisti di NDD. Questa si è dimostrata più semplice e intuitiva rispetto alla versione precedente.