Exploring motion-based touchless interaction for autistic children's learning

Autistic Spectrum Disorder (ASD) and autism are both general terms for a group of complex disorders of brain development, characterized by a triad of symptoms related to lack of social interaction, deficits in the acquisition and expression of language, and repetitive patterns of behavior often accompanied by sensorimotor impairments. For years, different techniques have been used to improve the quality of life of people who have various developmental dis- abilities. However, the use of technology continues to receive limited attention, despite the fact that it tends to be a high interest area for many of these children. This work tries to present a solution in this broad and varied panorama developinginnovativeinteractivetechnologiesforautismthatcanbeintegrated with therapeutic and school activities and can be autonomously used by therapists and teachers to promote, through engagement: social interaction, communication capabilities and motor skills. Despite a general lack of interest in this field, in the last years we have seen an increasing number of technologies in the research literature and on the market focused on helping and educating children with autism. Existing products and prototypes support a variety of interaction modes and have been designed for different platforms and input devices, from conventional mouse or joysticks to (multi)touch gestures, speech-recognition devices, physical manipulation of digitallyaugmentedobjects,robots,head-mounteddevicesforautisticchildren. Still, very few studies have explored the potential of full-body interaction, and in particular of motion-based touchless interaction. In the research arena, motion-based touchless interaction has started to be explored for learning and therapeutic purposes. Still, most existing works consider the domain of "regular" children, while very little is known about how motion-based touchless interaction works for autistic children and if this paradigm can be successfully applied to these subjects. This work wants to provide three different contributes to the current research on the subject: • a theoretical one, i.e. a set of guidelines for the development of applications for children with cognitive and motor disabilities; • a technological one, a flexible architecture to support the development of applications according to such guidelines and three examples of games for autistic children with low-moderate cognitive deficit, low-medium sensory-motor dysfunction, and motor autonomy, developed and tested on the field; • a demonstration of the initial hypothesis that the touchless paradigm can be successfully applied in the treatment of autistic children. In the first part, this work will provide an overview of the current state of art in the field of nonconventional interaction paradigms for the treatment of autistic children, including virtual reality, tangibles, robots, mobile devices, discussing in particular touchless motion-based interaction with respect to autism. In the second part, I will display through an empirical experimentation and using play therapy, the actual effectiveness of this type of interaction with childrenwithautismspectrumdisorder.Theexperimentsshowpositiveresults, butafurtheranalysisoftheusabilityhighlightsthatchildrenranintoanumber of problems in using commercial games currently on the market. On the basis of such observations, and thank to the collaboration with three therapeutic and educational centers which participated in the phases of development, design and evaluation, a structured set of generic and specific guidelines has been distilled, as presented in the second part of this work. These guidelines informed the design of three touchless games, based on Kinect, aimed at improving children’s motor, cognitive and social skills, whose development informs the third part of this work. Considering every child’s uniqueness, the games are strongly customized and "user friendly", in order to allow for therapeutic purposes, both at the centers’ and in remote mode. As described in the fourth part of this thesis, the games have been evaluated in a controlled study remarking improvements for the areas of interest. The results of these empirical studies have confirmed and extended the outcomes of prior research, providing additional empirical evidence that touchless gaming does have a strong potential to improve autistic children’s attention and motor- visual skills. Overall, the research sheds a light on the opportunities offered by full body touchless games for therapy and education of these special users. This thesis ends with the proposal of a research agenda in this field and an outline of future work.

Disturbo dello spettro autistico (DSA) e Autismo sono termini generali per identificare un gruppo di disordini relativi allo sviluppo delle capacità mentali. Questi disturbi sono generalmente identificati da una terna di sintomi, quali la carenza di relazione sociale, deficit nell’acquisizione e nell’espressione del linguaggio, e pattern di comportamento ripetitivi, spesso accompagnati da disabilità sensomotorie. Per anni sono state utilizzate diverse tecniche per migliorare la qualità della vita di persone con varie disabilità legate allo sviluppo. Tuttavia, l’utilizzo della tecnologia continua a ricevere poca attenzione, nonostante il fatto che attira molto l’attenzione di molti di questi bambini. Questo lavoro vuole presentare una soluzione in questo grande e variegato panorama, sviluppando innovative tecnologie interattive per l’autismo, che possano essere integrate con le attività terapeutiche e scolastiche ed utilizzate in modo autonomo da terapisti e maestri per promuovere attraverso l’impegno: l’interazione sociale, lecapacitàdicomunicazioneeleabilitàmotorie.Nonostantecisiaunagenerale carenza di interesse in questo campo, negli ultimi anni abbiamo assistito ad un incremento nel numero di tecnologie utilizzate per aiutare ed educare bambini autistici. I prodotti e i prototipi esistenti supportano una varietà di modalità di interazione e sono stati progettati per supportare differenti piattaforme e dispositivi di input, dai convenzionali mouse e joysticks a dispositivi (multi)touch e di riconoscimento vocale, di manipolazione fisica di oggetti digitali, ai robots e a dispositivi per il monitoraggio di specifiche caratteristiche del bambino. Pochi studi hanno esplorato le potenzialità dell’interazione con l’intero corpo, e in particolare dell’interazione touchless motion-based. Nell’ambito della ricerca, l’interazione touchless motion-based è stata inizialmente esplorata per motivi terapeutici ed educativi. Inoltre, molti lavori esistenti hanno preso in considerazione il dominio dei bambini normodotati, mentre pochissimo è stato investigato sull’efficacia dei meccanismi di interazione touchless motion-based per i bambini autistici e se tali paradigmi possano essere applicati con successo per questi soggetti. Questo lavoro vuole portare tre diversi contributi all’attuale ricerca sull’argo- mento: • Un contributo teorico, sotto forma di un set di linee guida per lo sviluppo di applicazioni per bambini soggetti da disabilità cognitiva e motoria; • Un contributo tecnologico, sotto forma di architettura flessibile per supportare lo sviluppo di applicazioni in accordo con le linee guida e tre esempi di giochi per bambini autistici con deficit cognitivo basso-elevato, con disfunzione motoria e sensoriale medio-bassa e con autonomia motoria; i giochi sono stati sviluppati e testati sul campo; • Una dimostrazione dell’ipotesi iniziale che il paradigma touchless possa essere applicato con successo durante la terapia dei bambini autistici. Nella prima parte, mostrerò una panoramica sull’attuale stato dell’arte sul temadeiparadigmidiinterazionenonconvenzionaliperlaterapiadeibambini autistici, inclusi la realtà virtuale, i dispositivi tangibili e mobili, i robots, e discutendo in particolare sull’interazione touchless motion-based. Nella seconda parte, mostrerò attraverso un esperimento empirico e utilizzando la terapia di gioco, la reale efficacia di questa tipologia di interazione con bambini soggetti da disturbo dello spettro autistico. Gli esperimenti mostrano risultati positivi, anche se un’ulteriore analisi sull’usabilità sottolinea che i bambini incorrono in una serie di altri problemi durante l’utilizzo di giochi commerciali attualmente disponibili sul mercato. Sulla base di queste osservazioni, e grazie alla collaborazione con tre centri terapeutici educativi che hanno partecipato durante la fase di design, di sviluppo e di valutazione, sono state stilate una serie strutturata di linee guida generiche e specifiche, presentate nella seconda parte di questo lavoro. Queste linee guida hanno indirizzato il design di tre giochi touchless, basati sul sensore di profondità Microsoft Kinect, allo scopo di migliorare le capacità motorie, cognitive e sociali dei bambini, il cui sviluppo è descritto nella terza parte di questo lavoro. Considerando l’unicità di ogni bambino, i giochi sono fortemente personalizzabili e "user friendly", in modo tale da consentire gli scopi terapeutici, sia durante le sessioni ai centri che in modalità remota. Come verrà descritto nella quarta parte di questo lavoro, i giochi sono stati valutati durante uno studio controllato, osservando i miglioramenti per l’area d’interesse. I risultati di questi studi empirici hanno confermato ed esteso gli esiti degli studi precedenti, fornendo l’evidenza empirica addizionale che i giochi touchless hanno un forte potenziale per il miglioramento dell’attenzione e delle abilità motorie e visuali dei bambini autistici. Complessivamente, la ricerca vuole sottolineare le opportunità offerte dai giochi touchless motion- based per la terapia e l’educazione di questi utenti speciali. Questa tesi si conclude con la proposta di una agenda di ricerca in questo campo ed un cenno a possibili lavori futuri.