Multimodal systems have progressively become the gold standard in affective computing and, more specifically, in emotion recognition. Advancements in the field were brought by the introduction of deep learning techniques and attention mechanisms, which enable an intelligent fusion of multimodal inputs. Although various application domains indeed benefit from attention-based fusion techniques, their application in the music domain still remains underexplored. This thesis proposes the development of a system for real-time Piano Multimodal Emotion Recognition (PMER), addressing the key challenges related to multimodal synchronization, emotion granularity, subject dependency, and real-time constraints. It also provides a custom dataset of piano recordings, comprised of the aligned modalities of audio, MIDI, video, Motion Capture, and Electromyography (EMG). The present framework focuses on the fusion of audio and EMG modalities, and puts forward a comparative study of One-Versus-Others attention, self-attention, and pairwise cross-attention techniques in comparison with simple concatenation or unimodal approaches. Although the current dataset is limited in size and the remaining modalities have yet to be incorporated into the framework, the experimental results already prove the efficacy of multimodal attention-based fusion, especially in the multiscale setting.
I sistemi multimodali sono progressivamente diventati lo standard nell'ambito dell'Affective Computing e, più specificamente, dell'Emotion Recognition. Il progresso nel riconoscimento delle emozioni è stato favorito dall'introduzione del deep learning e dei meccanismi di attention, che consentono una fusione intelligente degli input multimodali. Sebbene diversi domini applicativi beneficino attualmente delle tecniche di fusione basate sull'attention, il loro utilizzo nel dominio musicale rimane ancora poco esplorato. Questo progetto di tesi propone lo sviluppo di un sistema multimodale per il riconoscimento in tempo reale delle emozioni di un pianista durante l'esecuzione di repertorio classico per pianoforte (Piano Multimodal Emotion Recognition). Il progetto affronta le principali problematiche legate alla multimodalità, ovvero la sincronizzazione delle modalità, la granularità delle emozioni, la dipendenza dal soggetto, e vincoli di elaborazione in tempo reale. Inoltre, il progetto include la realizzazione di un dataset di registrazioni di pianoforte, che comprende le modalità audio, MIDI, video, Motion Capture ed Elettromiografia (EMG), opportunamente allineate tra loro. Il framework proposto si concentra sulla fusione tra audio ed EMG, e offre uno studio comparativo delle tecniche di attention One-Versus-Others, self-attention e pairwise cross-attention, in confronto con la semplice concatenazione o con approcci unimodali. Sebbene il dataset attuale sia limitato nel numero dei campioni e le rimanenti modalità debbano ancora essere incluse nel framework, i risultati provano l'efficacia della fusione multimodale basata sull'attention, specialmente nel contesto multiscala.
Attention-based fusion strategies for multimodal emotion recognition in piano performance
Coccoli, Veronica
2025/2026
Abstract
Multimodal systems have progressively become the gold standard in affective computing and, more specifically, in emotion recognition. Advancements in the field were brought by the introduction of deep learning techniques and attention mechanisms, which enable an intelligent fusion of multimodal inputs. Although various application domains indeed benefit from attention-based fusion techniques, their application in the music domain still remains underexplored. This thesis proposes the development of a system for real-time Piano Multimodal Emotion Recognition (PMER), addressing the key challenges related to multimodal synchronization, emotion granularity, subject dependency, and real-time constraints. It also provides a custom dataset of piano recordings, comprised of the aligned modalities of audio, MIDI, video, Motion Capture, and Electromyography (EMG). The present framework focuses on the fusion of audio and EMG modalities, and puts forward a comparative study of One-Versus-Others attention, self-attention, and pairwise cross-attention techniques in comparison with simple concatenation or unimodal approaches. Although the current dataset is limited in size and the remaining modalities have yet to be incorporated into the framework, the experimental results already prove the efficacy of multimodal attention-based fusion, especially in the multiscale setting.| File | Dimensione | Formato | |
|---|---|---|---|
|
2026_10_Coccoli_ExecutiveSummary.pdf
accessibile in internet per tutti
Descrizione: Executive Summary
Dimensione
4.18 MB
Formato
Adobe PDF
|
4.18 MB | Adobe PDF | Visualizza/Apri |
|
2026_10_Coccoli_Thesis.pdf
accessibile in internet per tutti
Descrizione: Tesi
Dimensione
10.58 MB
Formato
Adobe PDF
|
10.58 MB | Adobe PDF | Visualizza/Apri |
I documenti in POLITesi sono protetti da copyright e tutti i diritti sono riservati, salvo diversa indicazione.
https://hdl.handle.net/10589/266236