A new virtual reality experimental framework for targeted emotion elicitation

Emotions have a pivotal role in many cognitive functions thus it’s important to study them in the context of human behaviour. There’s a need to define and characterize human emotion: emotional characterization can be performed using discrete and continuous models. The first rely on the universality of facial expressions to define a set of basic emotions; the latter use a multidimensional space to represent fundamental emotional characteristics, like the Circumplex Model of Affect that maps emotions in a space defined by valence, arousal, and dominance. Affective computing uses these models to create systems that interact with human emotions. To build affective recognition models it’s necessary to evoke specific emotions in controlled laboratory environments through rigorous elicitation methods. This work explores the integration of Virtual Reality and Affective Computing, a novel experimental framework was developed in an immersive virtual environment to test the validity of VR as medium for targeted emotional triggers, against a traditional method that uses pictures from the OASIS database. The comparison was two-fold: an analysis of subjective data, collected by two post-elicitation surveys; and an analysis of physiological signals. Trends of the extracted features were observed and showed that VR-induced variations were generally more pronounced and showed a higher arousal than the FS-ones, this was confirmed by a Friedman test. A square method for feature selection isolated the best three features for each method in differentiating the four emotions, a 3D representation of the emotional separation was presented for both stimulations. A ML classification approach was carried out for both elicitations; the models trained on VR data outperformed the one trained on FS data in all cases. This work defines a new VR-based protocol for targeted emotion elicitation that induces more specific responses in the subjects than traditional FS picture-based methods and proves the efficacy of VR as an emotional elicitation tool and its potential in enhancing the field of affective computing.

Le emozioni hanno un ruolo centrale in molte funzioni cognitive, è quindi importante studiarle nel contesto del comportamento umano. È necessario, in primo luogo, definire e caratterizzare le emozioni utilizzando modelli discreti o continui. I primi si basano sull'universalità delle espressioni facciali per definire un insieme di emozioni di base; i secondi rappresentano le principali caratteristiche emotive in un continuo, come il Circumplex Model che mappa le emozioni tramite valenza, arousal e dominanza. L'affective computing usa questi modelli per creare sistemi che interagiscano con le emozioni. Per costruire modelli di riconoscimento affettivo è necessario evocare emozioni specifiche in ambienti di laboratorio controllati con metodi di stimolazione rigorosi. Questo lavoro esplora l'integrazione della Realtà Virtuale e dell'Affective Computing; è stato sviluppato un nuovo framework sperimentale in un ambiente virtuale immersivo per testare la validità della VR come mezzo per stimolare emozioni mirate, rispetto a un metodo tradizionale utilizzando immagini dal database OASIS. Il confronto è stato duplice: un'analisi dei dati soggettivi, raccolti tramite due sondaggi, e un'analisi dei segnali fisiologici raccolti. Sono state osservate i trend delle features estratte, le variazioni indotte dalla VR erano generalmente più pronunciate e mostravano maggior arousal rispetto a quelle della FS, come confermato dal test di Friedman. Lo square method è stato usato per isolare le migliori tre features per ciascun metodo nella separazione delle quattro emozioni; è stata poi creata una rappresentazione 3D delle conseguenti separazioni emotiva. Per entrambe le stimolazioni è stato usato un metodo di classificazione ML; i risultati dei modelli trainati sui dati VR hanno sempre superato i corrispettivi dai dati FS. Questo lavoro definisce un nuovo protocollo basato sulla VR per l'elicitazione mirata delle emozioni che induce nei soggetti risposte più specifiche rispetto ai metodi tradizionali basati sulle immagini e dimostra l'efficacia della VR come strumento di elicitazione emotiva e il suo potenziale nel migliorare il campo dell'affective computing.