Emoty 2.0 : batch and real-time conversation management for people with neurodevelopmental disorders

This thesis has designed and developed a new, widely improved version of Emoty 1.0, an emotionally sensitive conversational agent for people with NeuroDevelopmen- tal disorders, or NDD, and their therapists. Many persons with NDD have verbal or other communication impairments, dif- ficulty understanding emotions and feelings, expressing them, and participating in social interactions. Emoty 1.0 was created for this population to promote skills re- lated to emotional understanding and expression. From the results of preliminary empirical studies conducted on Emoty 1.0, sev- eral requirements emerged for improving its usability and utility, which informed the design of a new version – Emoty 2.0. Emoty 2.0 improves the overall user experience with the system and extends it with various new functionalities for caregivers to manage therapy sessions more efficiently and in a structured way, allowing them to create specific configurations for multiple patients based on their needs. An important new feature is a set of monitoring and analysis components that enables caregivers to: • observe and track the behaviour of the people with NDD in real-time, while they use Emoty 2.0 and participate actively in their interaction with the system; • analyse the data about the sessions and the patients’ behaviour, perform simple statistical evaluations, and explore various data visualisations. The underlying software architecture is characterized by strong modularity and flex- ibility, which is of extreme importance for developing any other educational or thera- peutic applications that require integrating conversation activities based on the Kolb cycle.

Questa tesi presenta il progetto e il consguente sviluppo di una nuova versione ampiamente migliorata di Emoty 1.0, un agente di conversazione emotivamente sensibile per le persone con disturbi dello sviluppo neurologico, o NDD, e per i loro terapisti. Molte persone affette da NDD hanno problemi di comunicazione verbale e di interazione, difficoltà a comprendere emozioni e sentimenti, a esprimerli e a partecipare alle interazioni sociali. Emoty 1.0 è stato creato per questo gruppo di persone per promuovere abilità legate alla comprensione e all'espressione emotiva. Dai risultati di studi empirici preliminari condotti su Emoty 1.0, sono emersi diversi requisiti per migliorare la sua utilità e la usability, che sono stati la base per il design di una nuova versione - Emoty 2.0. Emoty 2.0 migliora l'esperienza complessiva dell’utente con il sistema e la estende con varie nuove funzionalità per gli operatori sanitari per gestire le sessioni di terapia in modo più efficiente e strutturato, consentendo loro di creare configurazioni specifiche per più pazienti in base alle loro esigenze. Una nuova importante funzionalità è un insieme di componenti di monitoraggio e analisi che consente ai terapisti di: i) osservare e tracciare il comportamento delle persone con NDD in tempo reale, mentre usano Emoty 2.0 e partecipano attivamente alla loro interazione con il sistema; ii) analizzare i dati sulle sessioni e sul comportamento dei pazienti, eseguire semplici valutazioni statistiche ed esplorare varie visualizzazioni di dati. L'architettura software sottostante è caratterizzata da una forte modularità e flessibilità, che è di estrema importanza per lo sviluppo di qualsiasi altra applicazione educativa o terapeutica che richieda l'integrazione di attività di conversazione basate sul ciclo di Kolb.