COEMO-ID: building and evaluating a speech corpus for emotion recognition and cohesion analysis in inclusive group interactions

Affective computing and speech emotion recognition can support development of more adaptive and inclusive technologies. However, existing emotion recognition corpora still poorly represent people with intellectual disabilities, especially in naturalistic group interaction contexts. This thesis directly addresses this gap by introducing COEMO-ID, a speech corpus collected during real group activity sessions at Fraternità e Amicizia, a Milan-based non-profit organization that supports people with disabilities. The work covers the design, preprocessing, annotation, analysis, and computational evaluation of the corpus. The annotation of the preprocessed data employed a human-in-the-loop methodology, in which therapist expertise supported the interpretation of participant-specific communication profiles, guided the iterative refinement of the annotation codebook, and strengthened the reliability assessment. Affective annotation at the participant level was based on valence and arousal, while group-level cohesion was introduced to characterize the quality of interactions among participants. The analysis highlights participant-specific variations in affective expression and shows that cohesion depends on the quality of shared interaction rather than on speech activity alone. Furthermore, the thesis assesses the transfer of existing speech emotion recognition models to the COEMO-ID corpus and presents preliminary baseline experiments for cohesion analysis, showing the challenges and the potential of applying computational methods to inclusive group interaction data.

L’affective computing e lo speech emotion recognition possono supportare lo sviluppo di tecnologie inclusive maggiormente adattive. Tuttavia, negli attuali corpora per il riconoscimento delle emozioni, le persone con disabilità intellettiva sono ancora troppo sotto-rappresentate, soprattutto in contesti naturalistici caratterizzati da interazioni di gruppo. Lo scopo di questa tesi è quello di affrontare direttamente tale lacuna introducendo COEMO-ID, un dataset vocale raccolto tramite attività di gruppo reali tenutesi presso l’associazione “Fraternità e Amicizia”, un’organizzazione no-profit con sede a Milano che supporta persone con disabilità. Questa tesi ha previsto e comprende attività di: progettazione, pre-elaborazione, annotazione, analisi e valutazione computazionale del corpus. Nella fase di annotazione dei dati pre-elaborati è stata adottata una metodologia human-in-the-loop mediante l’ausilio dell'esperienza di terapeuti, permettendo il riconoscimento degli specifici profili comunicativi dei partecipanti, un raffinamento iterativo del codebook e una valutazione dell'affidabilità. L'annotazione affettiva a livello del partecipante si è basata sulle dimensioni di valenza e attivazione, mentre la coesione a livello di gruppo è stata introdotta per caratterizzare la qualità delle interazioni tra i partecipanti. L'analisi svolta evidenzia le differenze specifiche tra i partecipanti nel processo di espressione affettiva, e mostra che la coesione dipende dalla qualità dell'interazione condivisa tra i membri del gruppo piuttosto che dalla sola partecipazione al dialogo di essi. Inoltre, la tesi valuta il trasferimento dei modelli di riconoscimento delle emozioni vocali esistenti al corpus COEMO-ID e propone esperimenti di base preliminari per l'analisi della coesione, mostrando le sfide e il potenziale dell'applicazione di metodi computazionali ai dati raccolti dall’interazione di gruppi attualmente sottorappresentati.