SCHuBERT: a real-time end-to-end model for piano music emotion recognition

Recent developments have made it possible for innovative technologies to automatically analyze and predict emotions from a musical performance, in a fast-growing field called Music Emotion Recognition. This work makes a significant contribution to the world of music sentiment analysis, focusing on the quintessential musical instrument, the piano. It introduces SCHuBERT: Sentiment Classifier Hidden-unit BERT, a deep learning model designed to efficiently and accurately capture the emotional content of piano performances in real time. This research examines the theoretical frameworks that highlight our understanding of music-induced emotions and presents a novel system for piano sentiment recognition that can be applied to a variety of tasks, including musical performance enhancement and emotion-based musical visualizations. Within the broader field of Music Emotion Recognition, this work attempts to close the current research gap on the topic of real-time systems for Piano Music Emotion Recognition. In this thesis, we review the literature on Music Emotion Recognition and provide a thorough explanation of the design and development process of SCHuBERT, along with an overview of the methods and systems employed to process musical audio data from available sources. Furthermore, through a wide span of experiments and tests, we demonstrate the effectiveness of our model on the task of real-time Piano Emotion Recognition and its superiority against related systems in the field. Finally, we analyze relevant studies in multimodal sentiment analysis and devise a novel protocol for the construction of multimodal datasets for Piano Music Emotion Recognition, bringing an innovative approach to the task. As a result, we are confident that this work and our proposed methodology represent a valuable addition to the field, opening up a wide range of possibilities for cutting-edge techniques for automatic sentiment analysis.

Recenti sviluppi e nuove tecnologie hanno reso possibile analizzare e prevedere le emozioni da una performance musicale in modo completamente automatico, in un settore in rapida crescita chiamato Music Emotion Recognition. Questo lavoro contribuisce significativamente al mondo dell'analisi dei sentimenti nella musica, concentrandosi sullo strumento per antonomasia, il pianoforte. Introduce SCHuBERT: Sentiment Classifier Hidden-unit BERT, un modello di Deep Learning progettato per estrapolare il contenuto emotivo di performance musicali al pianoforte in tempo reale. Questa ricerca esamina le basi teoriche utili a comprendere come la musica sia capace di indurre emozioni, e presenta un nuovo sistema per il riconoscimento delle emozioni dal pianoforte che può essere usato per diversi fini, tra cui l'arricchimento di performance musicali e sistemi di visualizzazione basati sulle emozioni. Nell'ampio campo di Music Emotion Recognition, questo lavoro cerca di colmare il divario nella ricerca riguardo i sistemi di riconoscimento automatico dell'emozione in tempo reale per il pianoforte. In questa tesi esaminiamo la letteratura relativa al riconoscimento automatico di emozioni dalla musica e forniamo una spiegazione approfondita del processo di progettazione e sviluppo di SCHuBERT, insieme ad una panoramica dei metodi e dei sistemi impiegati per elaborare dati audio e musicali. Inoltre, attraverso numerosi esperimenti, dimostriamo l'efficacia del nostro modello nel riconoscere l'emozione scaturita da una performance di pianoforte in tempo reale e la sua superiorità rispetto ai sistemi preesistenti nello stesso campo. Infine, analizziamo gli studi esistenti nel campo dell'analisi emotiva multimodale e progettiamo un nuovo protocollo per la costruzione di dataset multimodali nel campo del Piano Music Emotion Recognition, portando un approccio innovativo nel settore. Di conseguenza, siamo fiduciosi che questo lavoro e la metodologia proposta rappresentino una preziosa aggiunta al settore, aprendo un'ampia gamma di possibilità per tecniche avanguardistiche per l'analisi automatica dei sentimenti.