Exploring the correlation between music features and induced emotions using physiological signals in a listening experiment

Music is often related to emotions, as it has the ability to affect, shape, and even manipulate emotional states of individuals. Understanding the relationship between music and emotions can help the development of affective computing systems that incorporate emotions into human computer interaction (HCI). The results of research in this field can be applied to various technical innovations, such as software that provide recognition of emotions induced by music or automatic music synthesis. The goal of this study was to explore the human emotional responses to temporal features in music, focusing on harmonic tension, by means of acquiring various physiological data, supported by self-report questionnaires. A listening experiment was designed and conducted with 10 recruited subjects who were asked to wear non-invasive equipment to have their physiological signals monitored and recorded, while they listen to certain music stimuli. The chosen signals to acquire were electroencephalogram (EEG), electrocardiogram (ECG), electrodermal activity (EDA), and respiratory activity (RSP). The analysis of various statistical features was performed, exploring the correlation between the manually annotated tension in music and the responses captured by the recorded physiological data. The correlation between subjects’ physiological and self-report responses was also analyzed, as well as the differences between statistical measures of each subject. The main contributions of this work are the created experimental protocol with detailed instructions, the acquired dataset containing data for the four physiological signals for 10 subjects, as well as their responses to self-report questionnaires, then the proposed pipeline for data processing and analysis, and the preliminary results. The limitations concerning the number of subjects affected the acquired dataset size and thus the robustness of different statistical measures and the applicability of the conclusions that were reached. The exploration of more features and their connections, as well as the combination with fMRI or fNIRS data, could result in more advanced affective computing systems used in healthcare, therapy, entertainment, and other fields where it is desired to monitor or affect the emotional state and responses of individuals.

La musica è spesso correlata alle emozioni, poichè è in grado di generare, formare o addirittura manipolare lo stato emotivo degli individui. Comprendere la relazione tra la musica e le emozioni può aiutare lo sviluppo di sistemi di Affective Computing che incorporino le emozioni nell'Interazione Uomo-Computer (HCI). I risultati della ricerca in questo campo possono essere applicati a varie innovazioni tecnologiche, come i software di riconoscimento di emozioni indotte dalla musica, o la composizione musicale automatizzata. L'obiettivo del presente studio è l'esplorazione delle risposte emotive umane a diverse caratteristiche temporali nella musica, in particolare sulla tensione armonica, tramite l'acquisizione di vari parametri fisiologici, supportata dall'utilizzo di questionari. Un esperimento di ascolto è stato impostato e condotto con 10 soggetti, con indosso della strumentazione non invasiva, a cui sono stati monitorati e registrati i segnali fisiologici mentre ascoltavano certi stimoli musicali. I segnali scelti per l'acquisizione erano elettroencefalogramma (EEG), elettrocardiogramma (ECG), attività elettrodermica (EDA), e respiratoria (RSP). L'analisi di vari indicatori statistici è stata condotta, esplorando la correlazione tra la tensione musicale annotata manualmente e le risposte estrapolate dai dati fisiologici registrati. Inoltre, sono state analizzate anche la correlazione tra le risposte dei soggetti e le differenze tra misure statistiche su ciascun soggetto. I contributi principali di questo lavoro sono i protocolli sperimentali, con istruzioni dettagliate, i dataset con i dati dei 4 segnali fisiologici per 10 soggetti, le loro risposte ai questionari, la catena di processamento, e analisi e i risultati preliminari. La limitatezza del numero di soggetti ha influenzato la dimensione del dataset, e di conseguenza, la robustezza di diverse misure statistiche, nonchè l'affidabilità delle conclusioni ottenute. L'esplorazione di più indicatori e delle loro connessioni, nonchè la combinazione con dati fMRI o fNIRS, potrebbe dare adito a sistemi di Affective Computing più avanzati , utilizzabili in ambito sanitario, terapeutico, dell'intrattenimento o altri campi dove è richiesto di monitorare o influenzare lo stato emotivo o le risposte emotive degli individui.