The impact of musical features on emotions : a research on expression and perception of piano music

Music has strong influences in people’s daily life. It has the potentiality to convey emotions, to affect behaviours and moods, by stimulating the complex connections of human neurological systems. For this reason, music is explored in various research fields involving machine learning, artificial intelligence, neuromarketing, psychoacoustic and psychology, with the aim to discover its potentialities, adoptions and implementations mainly useful to health and business sectors. This work aims at beginning from the minimum cell of piano mono-instrumental music, to analyse the influence of musical features such as mode, tempo, rhythm, register, articulation and dynamic, on emotional perception’s judgements through both categorical and dimensional measurement methods. Given a limited and circumscribed pool of options to choose relatively to each musical feature mentioned, a focus group of musical experts have created MIDI piano tracks able to express a specific categorical emotion for each quadrant of Russell’s model. All the musical features combinations designed to create the piano tracks have been included in a database and ranked on the basis of the probability, according with experts’ perspective, that listeners will be able to correctly decodify the expressed emotion by a specific piano excerpt. Then, a limited number of piano tracks have been included in a survey with the aim to evaluate the quality of the focus group’s output and to statistically validate experts’ expectations through data analysis and machine learning techniques, by investigating on both musical features and non-musical factors related to subjective data and traits of the respondents, concerning genre, age, education level, musical expertise, passion for music, mood and personality. Thanks to this experiment, it has been possible to design a robust and scalable methodology useful to isolate and explore the cause-effect relationships that interrelate variations on a specific musical feature with the consequent possible shift in emotional perception’s judgements from the point of view of the listener.

La musica ha un forte impatto nella quotidianità delle persone. Ha la potenzialità di trasmettere emozioni, di influenzare comportamenti e stati d'animo, stimolando complesse connessioni nel sistema neurologico umano. Per questo, la musica è esplorata in vari ambiti di ricerca come il machine learning, l’intelligenza artificiale, il neuromarketing, la psicoacustica e la psicologia, al fine di scoprirne potenzialità, adozioni e implementazioni principalmente utili ai settori della salute e del business. Questo lavoro inizia dalla cellula minima della musica mono-strumentale per pianoforte, per analizzare l'influenza di modo, tempo, ritmo, registro, articolazione e dinamica, sui giudizi di percezione emotiva attraverso metodi di misurazione sia categorici che dimensionali. Dato un pool limitato e circoscritto di opzioni da scegliere relativamente ad ogni caratteristica musicale menzionata, un focus group di esperti musicali ha creato tracce di pianoforte MIDI in grado di esprimere una certa emozione categorica in corrispondenza di ogni quadrante del modello di Russell. Tutte le combinazioni di caratteristiche musicali progettate per creare le tracce sono state inserite in un database e classificate in base alla probabilità, secondo l’opinione degli esperti, che gli ascoltatori possano essere in grado di decodificare correttamente l'emozione espressa da uno specifico brano. Successivamente, un numero limitato di tracce è stato incluso in una survey per valutare la qualità dell’output del focus group e validare statisticamente le previsioni degli esperti attraverso analisi dati e tecniche di machine learning, esaminando sia parametri musicali sia fattori non musicali legati ai dati e tratti soggettivi del rispondente, riguardanti genere, età, livello di istruzione, competenza musicale, passione per la musica, mood e personalità. Grazie a questo esperimento, è stato possibile progettare una metodologia robusta e scalabile utile per isolare ed esplorare i rapporti di causa-effetto che mettono in relazione variazioni su una specifica caratteristica musicale con la conseguente possibile variazione di giudizio di percezione emotiva dal punto di vista dell'ascoltatore.