Improving the daily autonomy of autistic persons in urban mobility through Augmented Reality and Conversational Agents

Autism Spectrum Disorder (ASD) is a neurodevelopmental disorder that impacts social interaction, communication, learning, and behavior. Persons with ASD frequently exhibit difficulties in interpersonal communication and interaction and limited interests and repeated conduct. The range of developmental deficits varies from very specific limitations of learning or control of executive functions to global impairments of social skills or intelligence. These symptoms, present from early childhood, limit or impair everyday functioning. The 5A project aims to provide an enhancement to the quality of life of autistic persons, helping them to reach autonomy in several daily life scenarios, through a cross reality training based on Virtual Reality, Augmented Reality and Conversational Agents. In this thesis we focus only on one specific scenario, which is the public transportation use case, and, in particular, we realized a prototype to support users taking the subway. After a short tutorial, the personalized AR experience will allow the user to interact with the real environment and with the ad-hoc designed Conversational Agent through their smartphone. A carefully designed set of transmedial elements (i.e., facilitators and attractors) allows to keep a continuum between the experience the user already had in Virtual Reality and the AR experience we developed. In the AR experience, the user has to accomplish all the tasks needed in the real life to take the subway (the same of the VR experience), namely find the ticket machine and purchase the ticket, find the turnstile and pass it, find the correct direction to follow to reach their destination, reach the platform, get on the train, and finally confirm to have reached their destination, always guided by the Conversational Agent, and with the help of the Augmented Reality. This thesis describes all the designed and developmental process that brought to the creation of the AR experience of 5A. A technological feasibility study was carried out to verify the limitations and fixed some design constraints, while a focus group study with psychologists was used to validate the designed solution.

Il Disturbo dello Spettro Autistico (DSA) è un disturbo del neurosviluppo che impatta l'interazione sociale, la comunicazione, l'apprendimento e il comportamento. Le persone con DSA mostrano frequentemente difficoltà nella comunicazione e nell'interazione interpersonale, interessi limitati e condotta ripetitiva. Il range di deficit dello sviluppo varia da limitazioni molto specifiche dell'apprendimento o del controllo di funzioni esecutive a problemi globali nelle capacità relazionali o nell'intelligenza. Questi sintomi, presenti già dall'infanzia, limitano o compromettono le funzioni di tutti i giorni. Il progetto 5A punta a migliorare la vita quotidiana delle persone autistiche per aiutarle a portare a termine le attività giornaliere nel modo più autonomo possibile, usando Realtà Aumentata, Realtà Virtuale e Agenti Conversazionali. In questa tesi ci focalizziamo soltanto su uno scenario specifico, quello del trasporto pubblico, e, in particolare, abbiamo sviluppato un prototipo a supporto degli utenti per prendere la metropolitana. Dopo un breve tutorial, l'esperienza personalizzata in realtà aumentata permetterà all'utente di interagire con l'ambiente reale e con un agente conversazionale progettato ad hoc, attraverso il proprio cellulare. Un set di elementi transmediali accuratamente selezionati (cioè facilitatori e attrattori) permette di mantenere un continuum tra l'esperienza che l'utente ha già avuto in Realtà Virtuale e l'esperienza in Realtà Aumentata che abbiamo sviluppato. Nell'esperienza AR, l'utente deve portare a termine tutti i task necessari a prendere le metropolitana così come accade nella vita reale (gli stessi dell'esperienza VR), ovvero trovare la biglietteria automatica e comprare il biglietto, trovare il tornello e superarlo, trovare la direzione corretta da seguire per raggiungere la destinazione scelta, raggiungere il binario, salire sul treno e, infine, confermare di essere arrivato a destinazione, sempre con la guida dell'agente conversazionale, e con l'aiuto della realtà aumentata. Questa tesi descrive tutto il processo progettuale ed implementatativo che ha portato alla creazione dell'esperienza AR di 5A. Uno studio di fattibilità tecnologica è stato effettuato per verificare le limitazioni e ha fissato alcuni vincoli progettuali, mentre un focus group con psicologi è stato usato per validare la soluzione progettata.