Modelli di regressione multivariati per la predizione delle emozioni sulla base del segnale elettroencefalografico

Emotions can be defined as a positive or negative experience associated with a particular model of physiological activity. The use of stimulation protocols in order to analyze these experiences is implemented in different areas and with specific purposes. The imagined scenario, as well as the real one, sees the emotional state as a factor characterizing every single action or thought during everyday life and, precisely for this reason, its investigation can be important in a wide range of sectors, including that of marketing. Emotion estimation, actually, is a powerful tool in this field, since, monitoring the emotional states, it can provide useful information to improve the business strategies of a company. The project concerns the definition of a protocol that accepts the classification of the emotional state of a subject. This study is closely linked to the electroencephalographic signal, which is used to understand what actually happens at the neurocognitive level in response to certain emotional stimuli. An operational protocol is then returned which, by studying the response of several subjects to the display of images, is able to define a model that fully interprets the Valence and Arousal values of the stimulus presented, despite the strong subjectivity of the training pool. The methods used for this purpose include the processing of the acquired signal and the subsequent definition of physiological indices suitable for the characterization of the response variable. The survey carried out is spread over several levels, investigating different aspects regarding the basal activity of each subject and the actual values presented by the signal itself. One goal is therefore to search for a methodology focused on making all the acquired subjects comparable. Relevant importance is also assigned to the search for an optimal weighing of the physiological response to the emotional stimulus, in order to favor the definition of a suitable time window to capture the entire response to the stimulus, highlighting the most significant portions. In this research, linear mixed effects models were used in order to guarantee an almost complete description of the physiological response analyzed, evaluating it both in terms of fixed factors and then in a dataset including all subjects, and as random effects, characterizing them by a subdivision subject by subject. The models thus obtained were then compared using a statistical analysis that would allow to deduce which was the most consistent model from the descriptive point of view. The predictive ability of the selected models is also analyzed in the light of the considerations made on different types of clustering of the random effects and on a subdivision in general of the sample of subjects. The statistical analysis of the models obtained showed the significance of some indices evaluated at different time intervals in the two cases in question (Valence and Arousal). More precisely, we note a particular preference of the indices evaluated close to the presentation of the image as regards the Arousal model, while, otherwise, in the subsequent time interval for the Valence model. This result is in line with the concept that, once a stimulus has been presented, the subject first of all develops an activation to this stimulus (Arousal) and, only later, is able to highlight characteristics of pleasure or unpleasantness (Valence). Particular attention is paid to the actual indices used for the construction of the models in question. From this work we highlight a descriptive relevance of the Theta frequency band in the recognition of Arousal, and a strong significance in the signals related to the asymmetry in the High Alpha frequency and in the right posterior area for the Delta frequency for the Valence model. Another important aspect concerns the standardization of the biological signal. An evaluation in terms of average and standard deviation with respect to the basal activity values of the subject prior to the presentation of each group of images has proved to be the most effective choice for data normalization. Some possible future developments concern a different method of selecting the images used to elicit the emotional response in the subjects and a proposal on a further type of protocol. In addition, possible weighting variants of the indices are considered.

Le emozioni possono essere definite come un'esperienza positiva o negativa associata ad un particolare modello di attività fisiologica. L’utilizzo di protocolli di stimolazione al fine di analizzare tali esperienze è attuato in diversi ambiti e con finalità specifiche. Lo scenario immaginato, nonchè quello reale, vede lo stato emotivo un fattore caratterizzante ogni singola azione o pensiero durante la vita di tutti i giorni e, proprio per questo motivo, la sua indagine può risultare importante in una vasta gamma di settori, tra cui quello del marketing. La stima delle emozioni, infatti, è un potente strumento in tale campo, in quanto, monitorando gli stati emotivi, può fornire informazioni utili al miglioramento delle strategie di business di una azienda. Il progetto riguarda la definizione di un protocollo che consenta la classificazione dello stato emotivo di un soggetto. Questo studio è strettamente legato al segnale elettroencefalografico, il quale viene utilizzato per comprendere cosa effettivamente accada a livello neurocognitivo in risposta a determinati stimoli emozionali. Viene quindi restituito un protocollo operativo che, studiando la risposta di più soggetti alla visualizzazione di immagini, sia in grado di definire un modello che interpreti pienamente i valori di Valence ed Arousal dello stimolo presentato, nonostante la forte soggettività del pool di addestramento. I metodi utilizzati a tal scopo riguardano l'elaborazione del segnale acquisito e la successiva definizione di indici fisiologici atti alla caratterizzazione della variabile di risposta. L'indagine effettuata si sviluppa su più livelli, indagando differenti aspetti in merito all'attività basale di ogni soggetto ed agli effettivi valori presentati dal segnale stesso. Un obiettivo è quindi quello di ricercare una metodologia focalizzata sul rendere confrontabili tutti i soggetti acquisiti. Importanza rilevante viene affidata anche alla ricerca di una pesatura ottimale della risposta fisiologica allo stimolo emozionale, in modo da favorire la definizione di una finestra temporale adatta a catturare l'intera risposta allo stimolo, risaltandone le porzioni più significative. In questa ricerca sono stati adoperati i modelli lineari ad effetti misti al fine di garantire una descrizione pressochè completa della risposta fisiologica analizzata, valutandola sia in termini di fattori fissi e quindi su di un dataset comprendente tutti i soggetti, sia come effetti random, caratterizzandoli mediante una suddivisione soggetto per soggetto. I modelli così ottenuti sono stati poi messi a confronto utilizzando un'analisi statistica che permettesse di evincere quale fosse il modello più consistente dal punto di vista descrittivo. Viene inoltre analizzata la capacità predittiva dei modelli selezionati a fronte delle considerazioni effettuate su differenti tipologie di raggruppamento (clustering) degli effetti random e su di una suddivisione in genere del campione di soggetti. L'analisi statistica dei modelli ottenuti ha evidenziato la significatività di alcuni indici valutati in intervalli temporali differenti nei due casi in questione (Valence e Arousal). Più precisamente, si nota una particolare preferenza degli indici valutati in prossimità della presentazione dell'immagine per quanto riguarda il modello di Arousal, mentre, diversamente, nel successivo intervallo temporale per il modello di Valence. Questo risultato è in linea con il concetto per il quale, presentato uno stimolo, il soggetto, in primo luogo, sviluppi un'attivazione a tale stimolo (Arousal) e, solo successivamente, sia in grado di evidenziare caratteristiche di piacere o sgradevolezza (Valence). Una particolare attenzione è rivolta agli effettivi indici utilizzati per la costruzione dei modelli in questione. Da questo lavoro si evidenzia una rilevanza descrittiva della banda di frequenza Theta nel riconoscimento di Arousal, ed una forte significatività nei segnali relativi all'asimmetria nella frequenza High Alpha e nella zona posteriore destra per la frequenza Delta per il modello di Valence. Altro importante aspetto riguarda la standardizzazione del segnale biologico. Una valutazione in termini di media e deviazione standard rispetto ai valori di attività basale del soggetto precedente alla presentazione di ogni gruppo di immagini si è dimostrata la scelta più efficace per la normalizzazione dei dati. Alcuni possibili sviluppi futuri riguardano un differente metodo di selezione delle immagini utilizzate per suscitare la risposta emozionale nei soggetti ed una proposta su di un ulteriore tipologia di protocollo. Vengono inoltre considerate possibili varianti di pesatura degli indici.