An emotionally sensitive conversational agent for individuals with neurodevelopmental disorders

Cognitive Disability (CD) affects at least 3% of the world population and denotes limitations in intellectual functioning. People with CD are characterized, among other things, by weak social interaction and impaired verbal and non-verbal communication. Furthermore, they usually show a lack of expressiveness and recognition capability w.r.t. emotions and feelings. CD is a chronical state, but focused interventions are thought to mitigate its effects and Cognitive Computing (CC) pretends to be a useful tool to rely on, even if, for now, its application for persons with CD is still in its infancy. The challenge of this work is to create an Italian speaking conversational agent for individuals with CD able to help them enhancing communication capabilities (verbal and non-verbal language, emotional expression), socialization skills, and autonomy, ultimately promoting social inclusion and increasing the quality of life at large. More in detail, this application is an artificial emotional trainer exploiting emotion detection capabilities from both text and audio data thanks to an all of us Deep Learning model. In addition, it enables to the therapists following the users in their learning path to customize the sessions and, afterwards, to make statistical evaluation on the data collected. The system has been designed in cooperation with the non-profit therapy centres L’abilità and Fraternità e Amicizia, in Milan, where it has been conducted a first promising exploratory test.

I disturbi dello sviluppo neurologico rappresentano una malattia cognitiva cronica persistente data da un alterato funzionamento del sistema nervoso. Più del 3% della popolazione globale ne risulta affetto, dimostrando deficit socio-relazionali e ridotte capacità comunicative, verbali e non. Compromessa risulta, in particolare, l’abilità di tali soggetti nel riconoscimento e nell’espressività di emozioni e sentimenti. Oggigiorno, sono previste delle linee di intervento psicoterapeutico-riabilitativo in modo tale da mitigare gli effetti della malattia. A tal proposito, è recente l’utilizzo in ambito medico della cosiddetta cognitive computing (CC), ovvero di intelligenze artificiali dotate di funzionalità tipiche di un cervello umano. Questo progetto di tesi è il frutto della collaborazione con le associazioni Onlus milanesi L’abilità e Fraternità e Amicizia. L’obiettivo è lo sviluppo di un agente conversazionale verbale capace di assistere individui con disabilità intellettive nel processo di potenziamento delle abilità comunicative, sociali e di autonomia. In particolare, il sistema si propone come trainer emotivo ed è in grado di riconoscere le emozioni all’interno di una conversazione sia a partire dalla semantica del contenuto, che dalle caratteristiche armoniche della voce grazie ad un modello di Deep Learning realizzato ex novo. Tra le altre cose, l’applicazione consente ai terapeuti di personalizzare le sessioni offerte dal sistema sulla base delle caratteristiche dei singoli utenti e, successivamente, di accedere ai risultati raccolti per ponderare il processo di apprendimento degli utenti ed effettuare delle analisi statistiche. I risultati e le valutazioni fatte sulle prime esperienze d’uso sono molto promettenti.