Real-time stress management: an adaptive VR game approach

This thesis presents the development of an innovative Virtual Reality (VR) stealth game called The Last Secret, that dynamically adapts its gameplay in real time based on the player's stress levels, creating a highly immersive experience. By integrating advanced multimodal stress detection techniques, including heart rate monitoring, eye tracking, facial tracking, button press tracking, movement analysis, and in-game behavioral metrics, this research evaluates the use of Kalman filters for real-time stress assessment. The game mechanics respond to the player’s emotional state: heightened stress introduces more intense challenges, while lower stress levels result in a smoother, more controlled gameplay experience. Players must regulate their stress to navigate the game effectively; maintaining calmness keeps them in an optimal flow state, whereas excessive stress can push them into a frustrating state, making progression significantly more difficult. At the intersection of affective computing and game design, this study explores the principles behind adaptive gaming systems. Through empirical evaluation, it assesses the impact of stress-modulated gameplay on player engagement and performance, revealing findings aligned with Flow Theory. The results indicate that real-time emotional feedback enhances immersion and plays a crucial role in stress regulation. However, while the game adapts to maintain flow, it does not always provide an optimal experience. Players who struggle to manage their stress may end up in a frustrating, high-intensity state rather than a more enjoyable one. This research advances adaptive gaming by demonstrating the feasibility of integrating physiological data into game mechanics, paving the way for emotionally intelligent interactive experiences. The findings provide insights for game designers seeking to create systems that dynamically respond to player emotions. Furthermore, this study lays the groundwork for future applications in therapeutic gaming and high-pressure training simulations, emphasizing the importance of balancing challenge and player capability to sustain engagement while mitigating unnecessary frustration.

Questa tesi presenta lo sviluppo di un innovativo gioco stealth in Realtà Virtuale (VR) chiamato The Last Secret, che adatta dinamicamente il gameplay in tempo reale in base ai livelli di stress del giocatore, creando un'esperienza altamente immersiva. Integrando tecniche avanzate di rilevamento multimodale dello stress, tra cui monitoraggio della frequenza cardiaca, eye tracking, riconoscimento facciale, analisi dei movimenti e metriche comportamentali in-game, la ricerca valuta l'uso dei filtri di Kalman per la valutazione dello stress in tempo reale. Le meccaniche di gioco rispondono allo stato emotivo del giocatore: un livello di stress elevato introduce sfide più intense, mentre uno stato più rilassato offre un'esperienza più controllata. I giocatori devono regolare il proprio stress per progredire nel gioco: mantenere la calma li aiuta a restare in uno stato di flusso ottimale, mentre uno stress eccessivo può rendere l'esperienza frustrante e ostacolare la progressione. All'incrocio tra computing affettivo e game design, questo studio esplora i principi dei sistemi di gioco adattivi, valutando l'impatto del gameplay modulato dallo stress su coinvolgimento e performance. I risultati, in linea con la Flow Theory, indicano che il feedback emotivo in tempo reale migliora l'immersione e la regolazione dello stress. Tuttavia, sebbene il gioco cerchi di mantenere il flusso, non sempre garantisce un'esperienza ottimale, con alcuni giocatori che faticano a gestire lo stress, sfociando in stati di frustrazione anziché di piacere. Questa ricerca dimostra la fattibilità dell'integrazione dei dati fisiologici nelle meccaniche di gioco, aprendo la strada a esperienze interattive emotivamente intelligenti. Le sue conclusioni offrono spunti per i game designer che desiderano creare sistemi in grado di adattarsi dinamicamente alle emozioni dei giocatori. Inoltre, pone le basi per applicazioni future nel gaming terapeutico e nelle simulazioni di situazioni alamente stressanti, evidenziando l'importanza di bilanciare sfida e capacità del giocatore per mantenere il coinvolgimento riducendo la frustrazione.