CHATCARE: an emotional-aware conversational agent for assisted therapy

Emotion-aware conversational agents are software capable of detecting users' emotional states and providing support through natural language communication. Neurodevelopmental Disorders (NDDs) encompass conditions marked by cognitive and communication skills challenges, often accompanied by \textit{alexithymia}, which is an impairment of their ability to recognize and understand emotions in themselves and others. Traditional therapeutic methods are effective but requires a lot of effort to produce the large number of exercises, that for individuals with NDDs has to be personalised. The advent of Generative AI (GenAI) and the advancements of Large Language Models (LLMs) like GPT-4 offer new avenues for customized and interactive therapeutic strategies. LLM stand out for their exceptional ability to understand and generate text that simulates human communication, thus providing a flexible basis for creating tailored interventions through prompt engineering. We present \ChatCare{}, \textit{Conversational Helper for Assisted Therapy, Caregiver Assistance, and Recreational Education}. \ChatCare{} is our response to the traditional therapies issues, utilizing these technological advancements to assist individuals with NDDs by enhancing communication, educational outcomes, and emotional comprehension. An essential feature of \ChatCare{} is integrating an emotion recognition system based on acoustic voice analysis. This technology allows the system to identify emotional changes through quantifiable voice features, enabling \ChatCare{} to modulate its responses by the detected emotional input. Because of this, given the same text, the system will have a different behavior based on the detected feeling. During the development process we carried out several comparisons and experiments in the field by talking to therapists and the individuals with NDDs to check the validity of the proposed solutions. In the first phase, we checked whether LLM was a valid tool for this type of operation. Then we organised a focus group with experts in the field to validate the system design.

Gli agenti conversazionali emotion-aware sono software capaci di identificare gli stati emotivi degli utenti e di offrire supporto tramite conversazioni in linguaggio naturale. I disturbi del neurosviluppo (NDD), che includono varie condizioni caratterizzate da sfide nelle capacità cognitive e comunicative, sono spesso associati all'alessitimia, ovvero una difficoltà nel riconoscere e comprendere le emozioni in se stessi e negli altri. I supporti terapeutici tradizionali si dimostrano efficaci ma richiedono un grande sforzo per produrre un gran numero di esercizi, che per le persone con NDD devono essere personalizzati. Tuttavia, l'emergere di tecnologie generative e i progressi nel campo dei Large Language Models (LLM) come GPT-4 hanno aperto nuove possibilità per lo sviluppo di strategie terapeutiche personalizzate e interattive. Gli LLM si distinguono per la loro eccezionale capacità di comprendere e generare testi che simulano la comunicazione umana, fornendo così una base flessibile per la creazione di interventi personalizzati attraverso il prompt engineering. Presentiamo ChatCare, Conversational Helper for Assisted Therapy, Caregiver Assistance, and Recreational Education. ChatCare è la nostra risposta ai problemi delle terapie tradizionali, utilizzando questi progressi tecnologici per assistere le persone con NDD migliorando la comunicazione, i risultati educativi e la comprensione emotiva. Una caratteristica fondamentale di ChatCare è l'integrazione di un sistema di riconoscimento delle emozioni che sfrutta l'analisi acustica della voce, permettendo al sistema di rilevare variazioni emotive attraverso audio features quantificabili e, di conseguenza, di modulare le risposte in base agli stati emotivi rilevati. Durante il nostro studio, abbiamo esaminato l'applicabilità della tecnologia LLM per soggetti con NDD attraverso un evento organizzato in un centro educativo a Milano. Successivamente, in seguito al rilascio del primo prototipo di ChatCare, abbiamo condotto un focus group con sette esperti nel campo degli NDD allo scopo di validare ulteriormente l'applicazione.