Identification of visual emotional responses by a novel multimodal analysis of pupillometric, photoplethysmographic and skin conductance signals

Objective: The aim of the project is to devise a protocol to test the physiological response of the subjects to IAPS images characterized by different levels of arousal and valence. In particular, we collected data on pupil size, skin conductance and PPG. To test this, an analysis of the signals considered was performed to reveal differences in response to different emotional stimuli elicited by the protocol images. Methods: 38 participants were subjected to the experiment; however, for some subsequent analyses, some subjects were discarded, resulting in 37 valid recordings for pupil analysis, 22 for GSR and 19 for PPG. The recording protocol, which was the same for all subjects, consisted of a total of 30 IAPS images, the first 15 ordered by increasing values of valence, the next 15 by increasing values of arousal. IAPS images were interspersed with 5 neutral images used to break up the various phases of the protocol. Starting from the raw data, we proceeded to signal cleaning, characterized by different filtering techniques depending on the signal considered. From the PPG, beats were extracted, using as fiducial points the ones at maximum positive derivative of pressure changes. Subsequently, HRV was reconstructed by point-process modeling. For pupillary dynamics and HRV, mean and standard deviation, power in LF, HF, VHF, and LF / HF fraction were calculated for each of the six phases of the protocol (high, medium, and low valence, low, medium, and high arousal), whereas nonlinear indices (approximate entropy, correlation dimension, and maximum Lyapunov exponent) were also calculated for the pupil. On the other hand, the indices of the GSR used are the mean level of skin conductance (SCL) and the area subtended by the first specific response (SCR) post-stimulus. Finally, linear combinations of the various metrics were calculated to try to obtain an optimal measure to highlight differences between emotions. Results: Pupillary diameter and LF / HF ratio increases either with arousal or valence, but in the latter case there is greater significance, suggesting that pupillary dynamics respond more to the valence of a visual stimulus, rather than to arousal. Skin conductance also increases with both quantities considered, whereas no significant differences are found in HRV. Finally, three measures are created by combining the various indexes calculated, obtaining satisfactory results in the recognition of emotions aroused by the different phases of the protocol.

Scopo: Lo scopo del progetto è quello di elaborare un protocollo per testare la risposta fisiologica dei soggetti alla visione di immagini IAPS caratterizzate da diversi livelli di eccitazione e valenza. In particolare, abbiamo raccolto dati sulle dimensioni della pupilla, sulla conduttanza cutanea e sul PPG. Per testare ciò, è stata fatta una analisi dei segnali considerati per evidenziare differenze in risposta ai diversi stimoli emotivi suscitati dalle immagini del protocollo. Metodi: Sono stati sottoposti ad esperimento 38 soggetti, tuttavia, per alcune analisi successive, alcuni partecipanti sono stati scartati, ottenendo 37 registrazioni valide per l'analisi della pupilla e 22 per PPG e GSR. Il protocollo di registrazione, uguale per tutti i soggetti, è composto da un totale di 30 immagini IAPS, le prime 15 ordinate con crescenti valori di valenza, le successive 15 per crescenti valori di arousal. Le immagini IAPS sono state intervallate da 5 immagini neutre utilizzate per spezzare le varie fasi del protocollo. Partendo dai dati grezzi, si è passati alla pulizia dei segnali, caratterizzata da filtraggi diversi in base al segnale considerato. Dalla PPG sono stati estratti i battiti, utilizzando come punti fiduciari i punti a derivata massima positiva delle variazioni di pressione. Successivamente è stata ricostruita l'HRV mediante la modellizzazione point-process. Per quanto riguarda dinamiche pupillari e HRV, sono state calcolate media e deviazione standard, potenza in LF, HF, VHF e frazione LF / HF per ciascuna delle sei fasi del protocollo (alta, media e bassa valenza, basso, medio e alto arousal), mentre per la pupilla sono stati calcolati anche indici non lineari (Entropia approssimata, dimensione di correlazione e il massimo esponente di Lyapunov). Gli indici della GSR utilizzati sono invece il livello medio di skin conductance (SCL) e l'area sottesa alla prima risposta specifica (SCR) post stimolo. Infine, sono state calcolate delle combinazioni lineari dei vari indici per cercare di ottenere una misura ottimale per evidenziare le differenze tra le varie emozioni. Risultati: Il diametro pupillare e il rapporto LF / HF aumentano sia con l'arousal che con la valenza, ma in questo secondo caso vi sono maggiori significatività, suggerendo che le dinamiche pupillari rispondono maggiormente alla valenza di uno stimolo visivo, piuttosto che all'arousal. Anche la skin conductance aumenta con entrambe le grandezze considerate, mentre non sono state riscontrate significative differenze nell'HRV. Sono state infine create tre misure combinando i vari indici calcolati, ottenendo risultati soddisfacenti nel riconoscimento delle emozioni suscitate dalle diverse fasi del protocollo.