ChatCare: a multimodal conversational interface for people with neurodevelopmental disorders

This thesis presents the development and evaluation of ChatCare, a Generative AI-powered application designed to create personalized therapeutic and educational materials for individuals with Neurodevelopmental Disorders (NDDs). Motivated by the unique challenges faced by this population, including the need for large quantities of custom educational content and therapeutic support, this work explores the application of Large Language Models (LLMs) as a novel approach to assist caregivers and educators. The core innovation of ChatCare lies in its multimodal conversational interface. This interface is not merely a technological advancement but a revolutionary approach to create a supportive environment for learning and therapy. It combines text, speech, visual elements and an empathetic digital avatar to create a rich, interactive experience that can adjust in real-time to the user’s needs, preferences, and emotional states, thereby enhancing the effectiveness of the educational content and therapeutic guidance provided. ChatCare also offers – behind the conversational interface – a powerful system that gives endless possibilities in the types of exercises and conversations it provides therapist with. The methodology involves a comprehensive review of the existing literature on NDDs, AI in education, and emotion recognition, followed by the design and implementation of ChatCare’s platform. Through discussions with therapists and professional caregivers, this thesis demonstrates how the system solves needs that those professionals have in the real world, allowing them to work faster and with better results. This research indicates that ChatCare can significantly enhance the support provided to individuals with NDD, offering a scalable and flexible tool that complements existing therapeutic and educational strategies.

Questa tesi presenta lo sviluppo e la valutazione di ChatCare, un’applicazione generativa guidata dall’intelligenza artificiale e progettata per creare materiali terapeutici ed educativi personalizzati per individui con disturbi del neurosviluppo (NDD). Motivato dalle sfide uniche affrontate da questa popolazione, tra cui la necessità di grandi quantità di contenuti educativi personalizzati e di supporto terapeutico, questo lavoro esplora l’applicazione dei Large Language Models (LLM) come approccio innovativo per accompagnare assistenti ed educatori. L’innovazione principale di ChatCare risiede nella sua interfaccia conversazionale multimodale. Questa interfaccia non è un semplice progresso tecnologico, ma un approccio rivoluzionario per creare un ambiente di supporto per l’apprendimento e la terapia. Unisce testo, parlato, elementi visivi e un avatar digitale empatico per creare un’esperienza ricca e interattiva in grado di adattarsi in tempo reale alle esigenze, alle preferenze e agli stati emotivi dell’utente, migliorando così l’efficacia dei contenuti educativi e delle indicazioni terapeutiche fornite. ChatCare offre anche, dietro l’interfaccia conversazionale, un potente sistema che offre infinite possibilità nei tipi di esercizi e conversazioni che fornisce al terapista. La metodologia prevede una revisione completa della letteratura esistente su NDD, sull’IA nell’educazione e sul riconoscimento delle emozioni, seguita dalla progettazione e dall’implementazione della piattaforma ChatCare. Attraverso discussioni con terapeuti e assistenti professionali, questa tesi dimostra come il sistema risolva le esigenze che questi professionisti hanno nel mondo reale, permettendo loro di lavorare più velocemente e con risultati migliori. Questa ricerca indica che ChatCare può migliorare significativamente il supporto fornito alle persone con NDD, offrendo uno strumento scalabile e flessibile che integra le strategie terapeutiche ed educative esistenti.