Cassandra: an interpretable real-time system for cybersickness detection and adaptive decision support

Cybersickness is a complex and dynamically evolving condition arising from the interaction between sensory stimulation, individual susceptibility, and system-level design choices in immersive Virtual Reality (VR). Although physiological monitoring has increasingly been explored as an objective assessment tool, most existing approaches model cybersickness as a single predictive task, implicitly merging symptom onset and intensity. This simplification limits interpretability and reduces practical applicability, particularly for adaptive systems. This thesis introduces a modular framework that explicitly separates these dimensions by modelling cybersickness through two related tasks: binary detection of symptom onset and estimation of symptom severity. The approach integrates consumer-grade electrocardiography (ECG) with environmental descriptors capturing visual motion and scene dynamics, combining physiological responses with technical characteristics of the virtual environment known to act as triggers. Physiological features are extracted over short temporal windows to capture rapid autonomic variations, while environmental variables encode measurable scene properties. Both tasks share a common preprocessing and evaluation pipeline, differing only in the learning objective, enabling a controlled comparison of the factors associated with onset and severity. Evaluation on both public and independent validation datasets demonstrates that the proposed two-layer formulation outperforms direct regression, reducing severity estimation error from mean absolute error values of approximately 0.18–0.60 to below 0.1 for physiological models, while achieving onset detection accuracy up to 0.95. Environmental features provide informative contributions but yield lower predictive accuracy than physiological signals, particularly for onset detection. Explainability analyses indicate that onset detection is driven by a limited set of dominant features, whereas severity estimation depends on more distributed physiological and environmental effects, supporting the hypothesis that the two processes are partially distinct. Overall, the framework offers an interpretable and principled basis for real-time monitoring and adaptive VR system design.

La cybersickness, conosciuta anche come cinetosi da realtà virtuale immersiva, rappresenta un fenomeno che deriva da diversi fattori ed è il risultato dell’interazione tra stimolazioni sensoriali, suscettibilità individuale e impostazioni dell’ambiente virtuale. Il monitoraggio fisiologico, sempre più impiegato come strumento oggettivo di valutazione, viene spesso utilizzato negli studi sulla cybersickness considerando il fenomeno come un indicatore unico, senza distinguere chiaramente tra l’insorgenza dei sintomi e la loro intensità. Questo approccio riduce la possibilità di interpretare i risultati e limita l'applicazione pratica dei modelli, soprattutto negli scenari adattivi in tempo reale. In questa tesi si propone una struttura modulare che affronta separatamente queste due dimensioni, modellando la cybersickness tramite due compiti distinti, ma correlati tra loro, ossia il rilevamento dell'insorgenza dei sintomi e la stima della loro gravità. L'approccio integra segnali fisiologici acquisiti tramite dispositivi commerciali in grado di registrare l'elettrocardiogramma (ECG), fornendo informazioni sulle variazioni del battito cardiaco e sull'attività del sistema autonomo, insieme a descrittori dell'ambiente virtuale che catturano le dinamiche visive della scena, come spostamenti degli oggetti, fluidità della prospettiva e cambiamenti di inquadratura, mettendo in relazione le risposte dell'utente con le caratteristiche tecniche dell'esperienza immersiva. Le informazioni fisiologiche vengono analizzate su brevi finestre temporali, in modo da cogliere variazioni rapide del battito cardiaco e dell’attività del sistema autonomo, mentre le variabili ambientali codificano aspetti della scena virtuale noti in letteratura come possibili fattori scatenanti dei sintomi. Entrambi i compiti vengono elaborati all’interno della stessa procedura di preparazione e analisi dei dati, che gestisce la normalizzazione, l’estrazione delle caratteristiche e la predisposizione dei dati per l’addestramento dei modelli, differenziandosi solo per l’obiettivo di apprendimento. Questa impostazione permette di confrontare direttamente i meccanismi responsabili dell’insorgenza dei sintomi con quelli che ne determinano la gravità. La validazione sperimentale, condotta sia su dataset pubblici sia su un dataset indipendente raccolto in condizioni eterogenee, mostra come la formulazione a due livelli migliori le prestazioni rispetto a un approccio di regressione diretta. In particolare, l’errore medio assoluto nella stima della gravità, inizialmente compreso tra 0,18 e 0,60, si riduce a valori inferiori a 0,1 nei modelli basati su segnali fisiologici, mentre il rilevamento dell’insorgenza raggiunge un’accuratezza fino a 0,95. Sebbene le caratteristiche dell’ambiente virtuale abbiano un ruolo significativo, i segnali fisiologici si rivelano più predittivi, soprattutto nelle fasi iniziali dell’insorgenza dei sintomi. Le analisi di explainability indicano che l’insorgenza dei sintomi è guidata da un numero limitato di variabili predominanti, mentre la gravità risulta influenzata da contributi più distribuiti, sia tra le componenti fisiologiche sia tra quelle ambientali dell’ambiente virtuale. In conclusione, la struttura ed i risultati proposti rappresentano una base metodologica solida e interpretabile per il monitoraggio oggettivo della cybersickness e per lo sviluppo di sistemi VR in grado di adattarsi in tempo reale alle esigenze dell’utente.