Modeling emotional interaction in affective computing experiments : a study on affect recognition in videogames

This thesis presents a reference model and some computational methods for the automatic detection of affective states of people interacting with artificial systems. The model can be successfully adopted to analyze and compare many Affective Computing studies evaluating similarities and differences among proposed approaches. When we first approached Affective Computing and started reviewing the literature, we noted that the same problem was being approached from different points of view. While the main question - to automatically recognize emotions - was shared among various studies, a wide range of dissimilar experiments was conducted. These heterogeneous approaches, however, were sharing some key aspect of Emotion Detection problem in Affecting Computing. Nevertheless, without a well-defined model, it was difficult to deeply understand which aspects (variables) were the most relevant, and how they were related to each other. This lack of a common model motivated us to formalize the problem. Sharing a general model helps to better approach and analyze the problem and to systematically verify hypotheses. This lead to an improvement of the formalization of the problem toward a valid, and effective formulation. We introduce a machine-centered model that characterizes the interaction between a subject and a machine as well as the affective state of the subject. The model is general enough to represent many different experimental protocols as well as more practical scenarios proposed by both the Psychophysiology and the Affective Computing communities. To complete the model, we discuss some methodological issues related to Emotion Detection. An agreed methodology should provide the guidelines to follow in the realm of formal use and evaluation of the model. In fact, we propose a methodology aimed at guiding the use of the model to design experiments, data acquisition, data preprocessing (e.g., artifact removal, data normalization and feature extraction), data analysis and validation (e.g., how to get a correct estimation). Guidelines are provided for the selection of stimuli and questionnaires, to control the possible sources of noise and their influences of the measurements. After the formal definition of the model and the methodological discussion, we present our case study whose original purpose is to advance the knowledge about Affect Detection in video games. In particular, we are interested in investigating whether physiological measurements could discriminate the player's preference between different video game experiences. A number of critical issues needed to be addressed during the design of the experiment. We studied whether physiological response could provide a more robust and interesting insight, since classical metrics, such as in-game performance, are not necessarily a good estimate of the preference for a generic player. The answer to this question is an important aspect for the development of an adaptive video game able to offer different game experiences according to the preferences inferred from the players physiological status. In principle, different players have different preferences, given their experience, their mood, the emotions they feel, and many other factors. If we could identify the player's preference on-line, we might adapt the game to match it. Different analyses have been performed: from preference learning approach, to the canonical classification approach using k-NN and 3 classes of enjoyment. A comparison of performances between physiological features and in-game features showed that the latter can better predict the user reported preference. However, a deeper analysis showed that in-game features were more correlated to the task than to the preference itself. This result has been obtained thanks to a novel approach, derived from our model, that exploits the correlation between stimuli, emotion, and ground truth. When classes of preferences are unbalanced, the proposed method helps to find the features that result more correlated to the reported preference.

Questa tesi presenta un modello teorico di riferimento ed alcuni metodi computazionali per il riconoscimento automatico di stati affettivi di una persona durante l'interazione con un sistema artificiale. Il modello può essere impiegato per analizzare e confrontare diversi studi nel campo dell'Affective Computing valutando similarità e differenze dei diversi approcci. Approciando il campo dell'Affective Computing, dall'analisi della letteratura, abbiamo notato che lo stesso problema veniva affrontato da differenti punti di vista. Mentre il quesito principale - il riconoscimento automatico delle emozioni - rimane in comune fra i numerosi studi, le modalità di esecuzione degli esperimenti sono molteplici. Questi approcci eterogenei condividono alcuni aspetti chiave del problema del riconoscimento automatico dell'emozioni. La mancanza di un modello di riferimento ben definito rende difficile da comprendere a fondo quali aspetti dei singoli esperimenti sono i più rilevanti e come essi siano correlati fra loro. La mancanza di un tale modello, ci ha motivati a formalizzare il problema. L'utilizzo di un modello generale aiuta ad approciare meglio ed analizzare il problema permettendo di verificarene sistematicamente le ipotesi. Ciò porta ad un miglioramento nella formalizzazione del problema verso una valida ed effettiva formulazione. In questo lavoro viene introdotto un modello incentrato sulla macchina che caratterizza sia lo stato emotivo di un soggeto che la sua interazione con la macchina. Il modello risulta generale per poter rappresentare diversi protocolli sperimentali, ma anche molti scenari di utilizzo nella vita reale proposti dalle comunità scientifiche di Psicofisiologia e Affective Computing. A completare il modello, discutiamo alcuni problemi metodologici legati al riconoscimento dello stato emotivo. Una metodologia comune accettata ha lo scopo di fornire linee guida da seguire per una corretta valutazione ed un uso formale del modello. Per questo, proponiamo una metodologia in grado di guidare l'uso del modello durante la progettazione dell'esperimento, l'acquisizione dei dati, l'elaborazione preliminare dei dati (e.g., rimozione di artefatti, normalizzazione ed estrazione delle feaures), l'analisi e validazione dei dati (e.g., come avere una corretta stima del modello). Alcune linee guida vengono fornite anche per la selezione degli stimoli e dei questionari allo scopo di controllare le possibili sorgenti di rumore e la loro influenza sulla misura e sulla stima del modello. In seguito, presentiamo un esperimento il quale scopo iniziale era l'avanzamento della conoscenza del riconoscimento affettivo nel campo dei videogiochi. In particolare, abbiamo investigato come alcuni segnali fisiologici possano discriminare la preferenza di un giocatore tra diverse esperienze di gioco. Durante la pianificazione dell'esperimento, abbiamo affrontato una serie di aspetti critici. Abbiamo investigato sull'uso delle risposte fisiologiche e su come esse possano fornire un'indicazione più robusta e significativa rispetto alle metriche classiche. Infatti, metriche estratte dai dati del videogioco (e.g., numero di sorpassi, azioni sui comandi di gioco), non sempre rappresentano una buona stima della preferenza per un giocatore generico. La risposta a questa domanda è un aspetto importante per lo sfiluppo di videogiochi adattativi che sono in grado di offrire esperienze di gioco diverse in accordo con le preferenze derivate dalle risposte fisiologiche dei giocatori. In generale, giocatori diversi hanno diverse preferenze che variano a seconda della loro esperienza, il loro stato d'animo, la loro cultura, e altri molteplici fattori. Se fosse possibile identificare le preferenze di un singolo giocatore in tempo reale, un videogioco potrebbe offrire esperienze di gioco personalizzate per ottimizzare il divertimento. Vengono riportate analisi di vario tipo: dall'approccio differenziale, alla classificazione canonica utilizzando k-NN su 3 classi di divertimento. Ad un primo confronto delle prestazioni di classificazione ottenute con segnali fisiologici e con metriche estratte dal videogioco, risulta che queste ultime ultime riescono a predire meglio le preferenze riportate dai giocatori. Tuttavia, un'analisi più approfondita, mostra che le metriche di gioco sono più correlate alle azioni di gioco rispetto alla preferenza in se. Questo risultato è stato ottenuto grazie ad un approccio originale, derivato dall'applicazione del nostro modello, che sfrutta le correlazioni fra stimoli emozioni, e questionari. Quando le classi di preferenza sono sbilanciate, il nostro metodo aiuta a trovare le feature che risultano maggiormente correlate alla preferenza dei giocatori.