Development of an immersive cognitive test for Hexalab applications

Traditional cognitive tests are typically performed in simplified laboratory settings, and currently, there is a lack of tools that integrate attention and vigilance assessment directly into immersive, physically demanding simulations. This thesis addresses that gap by presenting the design and implementation of a reaction time-based cognitive test for integration into the Hexalab, a Human-in-Loop simulator at Politecnico di Milano. The Hexalab combines immersive virtual environments, a robotic moving platform and a motion capture system to study human performance. The objective of this work is to develop an evaluation module that can be applied to current and future interactive environments of the Hexalab to assess attention and vigilance functions of users under simulated real-world physical loads and cognitive demands. A reaction-time-based cognitive test, where users must react to a visual stimulus within an immersive environment, was developed in Unity Engine. In the prototype, the stimulus takes the form of birds that appear dynamically in virtual space, requiring the participant to press the spacebar as quickly and accurately as possible when one enters the field of view. The stimulus is obstacle-aware and adaptable for use across a diverse range of environments. A raycasting algorithm is used to dynamically detect potential obstacles, ensuring the stimulus remains visible and consistent regardless of the virtual setting. Additionally, configurable settings such as stimulus distance and movement direction allow the operator to tailor the evaluation to both professional and clinical populations. An operator dashboard enables real-time updates of the test while it is running. Reaction times and response accuracy are automatically recorded and exported to a standardized CSV file, providing both an immediate summary and a detailed dataset for further analysis. Although this evaluation was developed and validated on a standalone PC, it was designed for integration into Hexalab. Simulated inputs were implemented to replicate user movement and response to the visual stimulus, ensuring that the logic can be transitioned into the Hexalab. The resulting prototype demonstrates feasibility and adaptability, offering a framework for embedding cognitive tests into immersive environments. This work provides new research opportunities in both sport performance analysis, where reaction time is often a decisive factor, and in clinical rehabilitation, where sustained attention and vigilance are critical for recovery.

I test cognitivi tradizionali vengono solitamente eseguiti in contesti di laboratorio semplificati, e attualmente mancano strumenti in grado di integrare la valutazione dell’attenzione e della vigilanza direttamente all’interno di simulazioni immersive e fisicamente impegnative. Questa tesi affronta tale lacuna presentando la progettazione e l’implementazione di un test cognitivo basato sui tempi di reazione per l’integrazione nell’Hexalab, un simulatore Human-in-Loop del Politecnico di Milano. L’Hexalab combina ambienti virtuali immersivi, una piattaforma robotica mobile e un sistema di motion capture per lo studio delle prestazioni umane. L’obiettivo di questo lavoro è sviluppare un modulo di valutazione applicabile agli ambienti interattivi attuali e futuri dell’Hexalab, al fine di misurare le funzioni di attenzione e vigilanza degli utenti sotto carichi fisici e cognitivi simili alle condizioni reali. È stato sviluppato di un test cognitivo basato sui tempi di reazione in Unity Engine, in cui l’utente deve rispondere a uno stimolo visivo all’interno di un ambiente immersivo. Nel prototipo, lo stimolo assume la forma di uccelli che compaiono dinamicamente nello spazio virtuale, richiedendo al partecipante di premere la barra spaziatrice il più rapidamente e accuratamente possibile quando uno di essi entra nel campo visivo. Lo stimolo è in grado di adattarsi agli ostacoli ed è flessibile per l’utilizzo in una vasta gamma di ambienti futuri. Un algoritmo di raycasting viene utilizzato per rilevare dinamicamente gli ostacoli potenziali, garantendo che lo stimolo rimanga visibile e coerente indipendentemente dal contesto virtuale. Inoltre, parametri configurabili come la distanza e la direzione di movimento dello stimolo permettono all’operatore di adattare la valutazione sia a popolazioni professionali sia a contesti clinici. Una dashboard operativa consente aggiornamenti in tempo reale durante l’esecuzione del test. I tempi di reazione e l’accuratezza delle risposte vengono automaticamente registrati ed esportati in un file CSV standardizzato, fornendo sia un riepilogo immediato sia un dataset dettagliato per ulteriori analisi. Sebbene questa valutazione sia stata sviluppata e validata su un PC standalone, essa è stata progettata per essere integrata direttamente nel simulatore. Sono stati implementati input simulati per replicare i movimenti dell’utente e la risposta allo stimolo visivo, garantendo la possibilità di trasferire senza soluzione di continuità la logica all’interno dell’Hexalab. Il prototipo risultante dimostra fattibilità e adattabilità, offrendo un quadro di riferimento per l’integrazione di test cognitivi in ambienti immersivi. Questo lavoro apre nuove opportunità di ricerca sia nell’analisi delle prestazioni sportive, in cui il tempo di reazione è spesso un fattore decisivo, sia nella riabilitazione clinica, dove l’attenzione sostenuta e la vigilanza sono fondamentali per il recupero.