A multimodal analysis of shared expressive cues between emotion and irony

Emotion and irony shape human communication. Psycholinguistic and pragmatic research describes their verbal and non-verbal expression, while computational studies have developed multimodal recognition models. However, the two phenomena are usually investigated separately, leaving unclear whether irony relies on distinct signals or reuses patterns of emotion expression. This thesis proposes a unified framework to study emotion and irony independently and jointly. The analysis draws on two datasets produced by the same eight Italian actors: an emotion dataset covering seven conditions and an irony dataset distinguishing sincere and ironic compliments and criticisms. Acoustic, facial, and textual features were extracted to train multimodal machine-learning models for emotion and irony under a speaker-independent leave-one-actor-out protocol. Bidirectional cross-task inference was then used to examine their relationship: irony models were applied to emotional expressions, while emotion models were applied to ironic and sincere utterances. Prediction frequencies were statistically analyzed, and significant mappings were interpreted through acoustic descriptors and facial Action Units. Cross-task results revealed systematic correspondences. Emotional valence mainly separated compliment- from criticism-oriented interpretations, while surprise emerged as the emotion most clearly associated with irony. Feature-level analysis identified two multimodal profiles. One reflected a high-activation pattern shared by ironic utterances, joy, and surprise, characterized by greater vocal energy, brow raising, eye opening, smiling, and dimpling. The other reflected a criticism- and negative-oriented pattern shared by sincere criticisms, disgust, anger, and sadness, characterized by brow lowering, lid tightening, and lower spectral flux. An external sarcasm experiment showed that emotion-derived features improved sarcasm detection, further indicating that affective information captures pragmatic distinctions relevant to irony. Overall, the findings suggest that emotion and irony may share a structured multimodal expressive space and that irony may reuse and reshape emotional signals.

Emozioni e ironia plasmano la comunicazione umana. Psicolinguistica e pragmatica ne descrivono l’espressione verbale e non verbale, mentre la ricerca computazionale sviluppa modelli multimodali per riconoscerle. I due fenomeni, tuttavia, sono spesso studiati separatamente, lasciando aperta la questione se l’ironia usi segnali distinti o riutilizzi pattern dell’espressione emotiva. Questa tesi propone un framework unitario per studiarle separatamente e congiuntamente. L’analisi si basa su due dataset prodotti dagli stessi otto attori italiani: uno comprende sette emozioni, l’altro distingue complimenti e critiche sinceri e ironici. Sono state estratte feature acustiche, facciali e testuali per addestrare modelli multimodali per emozioni e ironia con protocollo speaker-independent leave-one-actor-out. Il loro legame è stato poi esplorato applicando i modelli in modo incrociato: i modelli per l’ironia sono stati testati su espressioni emotive, mentre quelli per le emozioni su enunciati ironici e sinceri. Le predizioni sono state analizzate statisticamente e i mapping significativi interpretati tramite descrittori acustici e Action Unit facciali. I risultati hanno mostrato corrispondenze sistematiche. La valenza emotiva ha distinto soprattutto i complimenti dalle critiche, mentre la sorpresa è risultata l’emozione più associata all’ironia. Due profili multimodali sono emersi dall’analisi delle feature. Il primo, ad alta attivazione, accomuna enunciati ironici, gioia e sorpresa ed è caratterizzato da maggiore energia vocale, sopracciglia sollevate, occhi più aperti, sorriso e fossette. Il secondo, negativo e orientato alla critica, accomuna critiche sincere, disgusto, rabbia e tristezza ed è caratterizzato da sopracciglia abbassate, palpebre tese e minore flusso spettrale. Un esperimento su un dataset esterno di sarcasmo ha mostrato che feature derivate dalle emozioni ne migliorano il riconoscimento, indicando la rilevanza dell’informazione affettiva per l’interpretazione pragmatica. Nel complesso, i risultati suggeriscono che emozioni e ironia condividano uno spazio espressivo multimodale strutturato e che l’ironia possa riutilizzare e rielaborare segnali emotivi.