Algorithms and protocols for behavioral analysis in an interactive multi-sensory environment

The aim of this thesis project was to define and test data acquisition protocols and mathematical methods for behavioral analysis in a multi-sensory environment equipped with an augmented climbing wall. The project in which this thesis is inserted is called Magic Climbing. This innovative space is born from the fusion of a multi-sensory room and a sensorized climbing wall. The goal of Magic Climbing is to promote inclusion in sports activities within schools. The activities proposed within the room are designed for children from 6 to 12 years and involve the stimulation of both physical and cognitive skills. The use of a multi-sensory space combined with climbing activities aims to provide an immersive experience that can improve physical skills and stimulate socialization. In April and May 2024, two weeks of experimentation were organized at the Politecnico di Milano campus of Lecco. The evaluation of the descriptive potential of the collected data is one of my thesis' objectives. To achieve this goal I proposed a new behavioral analysis protocol applying different mathematical methods. The protocol involves two types of analysis. The first is a statistical analysis performed applying repeated-measures ANOVA analysis which investigates the impact of technology on the user experience. This method of analysis does not provide any information on the temporal development of behavioral phenomena. To access this type of information an analysis through the application of Hidden Markov Models (HMMs) has been introduced. This methodology allows the study of hidden psychological states and their evolution over time. The combination of these two types of analysis has provided a detailed more comprehensive assessment of the users' experience from different points of view and may become a useful tool in future experimentation.

Questa tesi si propone di testare un protocollo sperimentale di raccolta dati e introdurre metodi di analisi comportamentale per la valutazione dell'esperienza dell'utente all'interno di uno spazio multi-sensoriale con attività di arrampicata. Il progetto in cui si inserisce questa tesi è chiamato Magic Climbing, questo spazio innovativo nasce dalla fusione di uno spazio multi-sensoriale e una parete di arrampicata sensorizzata. L'obiettivo di Magic Climbing è quello di promuovere l'inclusività delle attività sportive all'interno delle scuole. Le attività proposte all'interno della stanza sono studiate per bambini dai 6 ai 12 anni e prevedono la stimolazione di abilità sia fisiche che cognitive. L'utilizzo di uno spazio multi-sensoriale combinato con le attività di arrampicata si propone di fornire un'esperienza immersiva che possa migliorare le abilità fisiche e stimolare la socializzazione. In Aprile e Maggio 2024 sono state organizzate due settimane di sperimentazioni presso la sede di Lecco del Politecnico di Milano. In queste settimane si è svolta la raccolta dei dati tramite il protocollo sperimentale proposto. Al fine di indagare il potenziale descrittivo dei dati raccolti, nei mesi successivi, ho prposto un protocollo di analisi comportamentale che prevede l'utillizo di diversi strumenti di analisi. Questo protocollo prevede un analisi statistica svolta tramite metodi tradizionali al fine di indagare l'impatto della tecnologia sull'esperienza dell'utente. Il primo metodo di analisi proposto ha il limite di non fornire informazioni sull'evoluzione temporale dei fenomeni comportamentali. Per accedere a questo tipo di valutazione è stato introdotto il metodo di analisi tramite Modelli di Markov Nascosti (Hidden Markov Models - HMMs). Questa metodologia consente lo studio di stati mentali nascosti e la loro evoluzione nel tempo. L'analisi tramite HMM si propone di studiare l'interazione dell'utente con l'interfaccia grafica e lo studio delle interazioni sociali intrattenute durante le attività. La combinazione di questi due tipi di analisi si propone di fornire una valutazione dettagliata dell'esperienza degli utenti tramite diversi punti di vista e fornisce inoltre una metodologia di valutazione applicabile in future sperimentazioni.