Sviluppo di modelli per il riconoscimento delle emozioni a partire da segnali fisiologici

Emotions are psychological conditions that involve subjective experience, a physiological response and an expressive condition [1]. They’re present in all mental processes, and any human activity, even psychopathological, is together with emotional experiences. In the last decades, numerous researches have revealed a strong relationship between emotion and mental disorders, like in psychiatry and neurophysiology [2] [3], and between moods and decision-making processes, as in neuromarketing field [4]. The great variability and contextualization of emotions makes the classification of them a hard task. First approaches discriminate the emotions in five states: happiness, sadness, anger, fear and disgust. Due to the difficulty and complexity of assigning a specific class to the felt emotion, dynamic and dimensional models have been adopted, such as the circumflex model, where the emotional states were attributable to two main domains: valence, the degree of pleasantness, and arousal, the level of proven stimulation ranging from calm to excited. Then a third dimension, dominance, was added to describe the subject’s ability to control the feeling. Based on these three dimensions, emotional stimuli belonging to International Affective Picture System or IAPS were evaluated. It consists of emotionally evocative, recognized in the international literature, collection of pictures that represent the best tool to evoke and study the human emotions. To recognize the emotions, there are different methods based on facial expressions or subjective reactions, collected with tools as questionnaires, and on the analysis of physiological signals derived from central and autonomic nervous system. Nowadays, any standard method able to correctly differentiate the emotions based on the physiological signals, has been developed. The main goal of thesis consists of an implementation of a statistical and objective model to discriminate the emotional states, aroused by pictures, starting from some signals and most relevant physiological parameters. Therefore, a subset of images from the dataset IAPS was chosen according to the main emotions and the values of valence, arousal and dominance, aroused from them. These pictures were administered to 14 volunteers (seven females and seven males) aged between 20 and 23 years. The presentation of pictures consisted of a random sequence of IAPS pictures selected, to induce the emotion in unexpected way, interspersed with a neutral picture to avoid the influence of stimulus. The emotional response of subjects was recorded in two ways: with a questionnaire composed by eight questions (three to describe the emotion according to the domains described before and five to indicate the most similar basic emotion), and with the contemporary acquisition of signals derived by electroencephalography (EEG), electrocardiography (ECG), breathing and electrodermal response (EDA). Then, the raw signals were processed to eliminate any artifacts and improve the signal-to-noise ratio, with the use of algorithms implemented in Matlab and dedicated toolboxes like EEGLAB for the electroencephalogram and Ledalab for skin conductance. Numerous parameters, correlated with cognitive status and with the activation of autonomic nervous system, have been calculated and analyzed in the time domain and from the statistical point of view to realize a model for classification and recognition of emotions. First, was demonstrated the lack of reliability of questionnaires: in fact, comparing the responses to questionnaires and classification of IAPS pictures, different values of valence, arousal and dominance were recorded among all the pictures used. On the contrary, regarding the evaluation of basic emotions, the participants were not able to assign a specific emotion to the pictures. The study of physiological parameters, instead, permitted to determine a model of multiple linear regression that allows to explain the numerical target variables like valence, arousal and dominance, of pictures selected. Methods (stepwise regression and feature selection) have been applied to select the physiological parameters more related to the different emotions, and to identify three multiple linear regression models that provide the best solution to estimate the values of valence, (, , ) arousal (, , ) e dominance (, , ) associated to IAPS pictures. The features, included in the models, are: the average of duration between two successive heartbeats (mean of RR peaks), the EEG spectral power calculated in alpha, beta and theta frequency bands (Alpha, Beta and Theta power) and the average value of skin conductance (mean EDA). In conclusion, although in many studies on emotions the questionnaires have been used to characterize them, these aren’t very objective and truthful because each subject interprets in his own way, according to his experiences and personality, the emotions experienced. Moreover, since it is reductive to identify them in a few basic emotional states, it was preferred to adopt the circumflex model and to quantize the emotional states according to the numerical domains. Three multiple linear regression models were obtained that predict in a statistically significant way the values of valence, arousal and dominance starting from the selected biological parameters. Physiological variables respect the pre-requisites of statistical analysis, although only Theta power and Mean EDA present statistically significant differences and explain most of the variance of data. These models represent a great method to discriminate complex and could be improved further. The possible uses are different, both in the clinical and for psychological or psychiatric studies. An interesting field of application could be neuromarketing.

Le emozioni sono condizioni psicologiche che coinvolgono l’esperienza soggettiva, una risposta fisiologica e una reazione espressiva [1]. Sono presenti in tutti i processi mentali, e qualsiasi attività umana, anche psicopatologica, è accompagnata da esperienze emotive. Negli ultimi decenni, sono state condotte numerose ricerche che hanno rivelato una forte relazione tra emozione e disordini mentali, nell’ambito della psichiatria e neurofisiologia [2] [3], e tra stati d’animo e processi decisionali, come nel campo del neuromarketing [4]. La grande variabilità e contestualizzazione delle emozioni fa sì che la classificazione delle emozioni risulti un arduo compito. I primi approcci discriminavano le emozioni in 5 stati: felicità, tristezza, rabbia, paura e disgusto. A causa della difficoltà e complessità nell’assegnare all’emozione provata una sola classe di appartenenza, sono stati adottati modelli dinamici e di tipo dimensionale, come il modello circonflesso, in cui gli stati emozionali erano riconducibili a due principali domini: valence, il grado di piacevolezza, ed arousal, il livello di stimolazione provata che varia da calmo ad agitato. In seguito è stata aggiunta una terza dimensione, dominance, per descrivere la capacità del soggetto di controllare il sentimento. Sulla base di questi tre domini sono stati valutati degli stimoli emozionali appartenenti all’International Affective Picture System o IAPS. Esso consiste in una raccolta di immagini emozionalmente evocative, riconosciute nella letteratura internazionale, che rappresentano lo strumento migliore per evocare e studiare le emozioni umane. Per riconoscere le affezioni, esistono diversi metodi che si basano sull’espressioni facciali o su valutazioni soggettive, raccolte con strumenti come i questionari, e sullo studio dei segnali fisiologici provenienti dal sistema nervoso centrale e autonomo. Ad oggi, non è stato realizzato un metodo standard capace di discernere correttamente le emozioni sulla base dei segnali fisiologici. L’obbiettivo di questa tesi riguarda l’implementazione di un metodo statistico e oggettivo per discriminare gli stati emotivi, suscitati da immagini, a partire da alcuni segnali e parametri fisiologici maggiormente caratterizzanti. Dunque, è stato scelto dalle immagini IAPS un sottoinsieme di immagini secondo le emozioni principali e i valori di valence, arousal e dominance che generano. Tali immagini sono state presentate a 14 volontari (sette maschi e sette femmine) di età compresa tra 20 e 23 anni. La presentazione delle immagini consisteva in una sequenza casuale delle figure IAPS selezionate, per indurre l’emozione in modo inaspettato, intervallate da un’immagine neutra, per evitare l’influenza dello stimolo precedente. La risposta emotiva dei partecipanti è stata registrata con due modalità: con un questionario costituito da otto domande (tre per descrivere l’emozione secondo i domini sopra descritti e cinque per indicare l’emozione basilare più simile), e con l’acquisizione contemporanea dei segnali derivanti dall’elettroencefalografia (EEG), elettrocardiografia (ECG), respiro e risposta elettrodermica (EDA). In seguito, i segnali grezzi sono stati elaborati per eliminare eventuali artefatti e migliorare il rapporto segnale-rumore, con l’uso di algoritmi implementati in Matlab e toolbox dedicati quali EEGLAB per l’elettroencefalogramma e Ledalab per la conduttanza della pelle. Sono stati calcolati numerosi parametri correlati con lo stato cognitivo e con le attivazioni del sistema nervoso autonomo e sono stati analizzati dal punto di vista statistico e nel dominio del tempo per realizzare in seguito un modello per la classificazione e il riconoscimento delle emozioni. Innanzitutto si è riscontrata la scarsa affidabilità dei questionari; infatti, confrontando le risposte ai questionari e la classificazione delle immagini IAPS, si sono riscontrati valori diversi di valence, arousal e dominance per tutte le immagini utilizzate. Per quanto riguarda le emozioni basilari, i partecipanti non sono stati in grado di assegnare una precisa emozione alle immagini. Lo studio dei parametri fisiologici invece ha determinato un modello di regressione lineare multipla che permette di spiegare le variabili target numeriche, ovvero valence, arousal e dominance delle immagini utilizzate. Sono stati applicati metodi (regressione step-wise, feature selection) per selezionare le variabili fisiologiche maggiormente correlate alle diverse emozioni e per identificare, tre modelli di regressione lineare multipla che forniscono la soluzione migliore per stimare i valori di valence, (,, ) arousal (, , ) e dominance (, , ) associate alle immagini IAPS. I parametri fisiologici inclusi nei modelli sono: la media della durata tra due battiti cardiaci successivi (media dei picchi RR), la potenza spettrale EEG calcolata nelle bande di frequenza alfa, beta e theta (potenza Alpha, Beta e Theta) e il valore medio della conduttanza della pelle (Media EDA). In conclusione, nonostante in molti studi sulle emozioni sono stati utilizzati i questionari per caratterizzarle, questi risultano poco obbiettivi e veritieri poiché ogni soggetto interpreta a suo modo, a seconda delle proprie esperienze e carattere, le emozioni vissute. Inoltre, essendo riduttivo identificarle in pochi stati emotivi basilari, si è preferito adottare il modello circonflesso e quantizzare gli stati emotivi secondo i domini numerici. Sono stati ricavati tre modelli di regressione lineare multipla che predicono in modo statisticamente significativo i valori di valence, arousal e dominance a partire dai parametri biologici selezionati. Le variabili fisiologiche rispettano i prerequisiti fondamenti dell’analisi statistica, nonostante solo Potenza Theta e Media EDA presentino differenze statisticamente significative e spieghino la maggior parte della varianza dei dati. Questi modelli rappresentano un buon metodo per discriminare emozioni complesse e potranno essere ulteriormente migliorati. Gli impieghi possibili sono diversi, sia nella clinica che per studi in ambito psicologico o psichiatrico. Un interessante ambito di applicazione potrebbe essere il neuromarketing.