Exploring novel emergent dimensions of emotions: a physiological data-driven virtual reality study

Contemporary affective computing primarily relies on standardized stimuli and supervised models constrained by predefined frameworks, such as the valence-arousal circumplex. These approaches often lack ecological validity and depend heavily on subjective self-reports, potentially overlooking the intrinsic physiological organization of affective states and the significant impact of inter-individual variability. This thesis addresses these limitations by investigating the physiological underpinnings of emotions through a data-driven, multimodal approach within immersive Virtual Reality (VR). The study aimed to develop a robust VR-based elicitation protocol and apply unsupervised analytical frameworks to identify latent structures emerging directly from physiological patterns, independent of subjective labels. A refined 35-minute protocol was tested on 38 participants, acquiring simultaneous of electroencephalogram (EEG) electrocardiography (ECG), photoplethysmography (PPG), galvanic skin response (GSR), and respiration signals. While results confirmed correlations between physiological features and subjective ratings, Principal Component Analysis (PCA) revealed four orthogonal dimensions that transcend the traditional valence-arousal plane. Specifically, the analysis identified Peripheral Arousal, Autonomic Balance, Cognitive Engagement, and Motivational Direction as key physiological axes. Notably, no dimension directly mapped onto subjective valence; emotions with opposing valences, such as Happiness and Sadness, clustered indistinguishably in the physiological space, suggesting that valence reflects contextual interpretation rather than a unitary biological signature. Furthermore, within-emotion clustering identified distinct physiological phenotypes, revealing that individual response strategies often exceed between-category differences. These findings demonstrate that emotions are dynamic assemblies along multiple physiological axes. By decoupling emotion modeling from self-reports, this work provides a principled foundation for the next generation of physiologically grounded, phenotype-aware affective computing systems.

L'affective computing contemporaneo si affida prevalentemente a stimoli standardizzati e modelli supervisionati vincolati a framework predefiniti, come il modello circomplesso valenza-arousal. Tali approcci spesso mancano di validità ecologica e dipendono dai self-report soggettivi, trascurando l'organizzazione fisiologica intrinseca degli stati affettivi e la variabilità inter-individuale. Questa tesi affronta tali limitazioni indagando i fondamenti fisiologici delle emozioni attraverso un approccio multimodale e data-driven in Realtà Virtuale (VR) immersiva. L'obiettivo dello studio è stato sviluppare un protocollo di elicitazione in VR e applicare framework analitici non supervisionati per identificare strutture latenti emergenti direttamente dai pattern fisiologici, indipendentemente dalle etichette soggettive. Il protocollo è stato testato su 38 partecipanti, acquisendo simultaneamente segnali di elettroencefalografia (EEG), elettrocardiografia (ECG), risposta galvanica della pelle (GSR), fotopletismografia (PPG) e respirazione. Sebbene i risultati confermino correlazioni con le valutazioni soggettive, la Principal Component Analysis (PCA) ha rivelato quattro dimensioni ortogonali oltre il tradizionale piano valenza-arousal: Arousal Periferico, Bilancio Autonomico, Impegno Cognitivo e Direzione Motivazionale. In particolare, nessuna dimensione mappa direttamente la valenza soggettiva; emozioni con valenze opposte, come Felicità e Tristezza, hanno formato cluster indistinguibili nello spazio fisiologico. Ciò suggerisce che la valenza rifletta un'interpretazione contestuale piuttosto che una firma biologica unitaria. Inoltre, il clustering intra-emozionale ha identificato distinti fenotipi fisiologici, rivelando che le strategie di risposta individuale superano spesso le differenze inter-emozionali. Questi risultati dimostrano che le emozioni sono assemblaggi dinamici lungo molteplici assi fisiologici, fornendo una base di partenza per la prossima generazione di sistemi di affective computing fisiologicamente fondati e sensibili ai fenotipi individuali.