Bridging neurodiversity and workplaces through cooperative storytelling with LLM support in cross reality

This thesis explores a novel approach to workplace skills development for individuals with Neurodevelopmental Disorders (NDDs) by integrating interactive storytelling (IST), Cross Reality (CR), and large language models (LLMs). QuesTaleXR—a system co-designed with therapists and end users—delivers an interactive, cooperative experience in which users actively shape and witness their own story unfolding around them, transitioning fluidly from augmented reality (AR) to augmented virtuality (AV). Through this journey, they practice communication in work-like settings and engage with professional roles. The immersive context is further enriched by tangible interactions with physical objects and a proactive, LLM-driven conversational assistant. A preliminary empirical evaluation showed that QuesTaleXR effectively engages users with NDD, fostering good levels of presence and interaction, particularly during narrative-driven tasks, and the conversational assistant was generally well received. However, several usability challenges emerged, including difficulties with tangible interaction and ambiguous conversational feedback, which led to occasional frustration and cognitive overload among some users. Overall, the study highlighted the need for clearer interaction mechanisms in CR, and more responsive, adaptive conversational feedback. Based on these insights, a revised version of QuesTaleXR was developed to better meet the requirements for accessible and meaningful CR experiences for neurodiverse populations.

Questa tesi esplora un approccio innovativo allo sviluppo delle competenze lavorative per individui con Disturbi del Neurosviluppo (NDD), integrando la narrazione interattiva (IST), la Cross Reality (CR) e i modelli linguistici di grandi dimensioni (LLM). QuesTaleXR — un sistema co-progettato con terapisti e utenti finali — offre un’esperienza interattiva e cooperativa in cui gli utenti plasmano attivamente e assistono allo svolgersi della propria storia intorno a loro, passando in modo fluido dalla realtà aumentata (AR) alla realtà virtuale aumentata (AV). Durante questo percorso, gli utenti esercitano la comunicazione in contesti lavorativi simulati e si confrontano con ruoli professionali. Il contesto immersivo è ulteriormente arricchito da interazioni tattili con oggetti fisici e da un assistente conversazionale proattivo basato su LLM. Una valutazione empirica preliminare ha dimostrato che QuesTaleXR coinvolge efficacemente gli utenti con NDD, favorendo buoni livelli di presenza e interazione, in particolare durante attività narrative, e l’assistente conversazionale è stato generalmente ben accolto. Tuttavia, sono emerse alcune criticità d’uso, tra cui difficoltà con l’interazione tattile e feedback conversazionali ambigui, che hanno portato a occasionali frustrazioni e sovraccarico cognitivo in alcuni utenti. Nel complesso, lo studio ha evidenziato la necessità di meccanismi d’interazione più chiari in CR e di feedback conversazionali più reattivi e adattivi. Sulla base di queste osservazioni, è stata sviluppata una versione rivista di QuesTaleXR per meglio rispondere alle esigenze di esperienze CR accessibili e significative per popolazioni neurodiverse.