Latent brain dynamics of the Awe emotion: modeling EEG responses with Neural ODE Variational Autoencoders

This thesis explores a novel computational approach to modeling Electroencephalography (EEG) signals recorded at rest and during immersive Virtual Reality (VR) experiences designed to elicit the complex emotion of Awe. The study contributes to the broader field of affective neuroscience by applying deep generative modeling to high-dimensional, temporally dynamic neural data. The work pursued three main objectives: (1) developing a deep generative model for EEG signals, (2) testing its feasibility in reconstructing EEG signals during a resting state, (3) applying the generative model trained on resting-state EEG to EEG data acquired during awe-inducing VR in an anomaly-detection framework. The overall aim was to provide a robust, reproducible pipeline for analyzing EEG dynamics both in a resting state environment and in emotionally charged contexts. This was achieved through a model-driven approach that bridges mathematical modeling, neural signal processing, and deep learning. To capture the continuous latent dynamics of brain activity, the proposed method employs a Variational Autoencoder (VAE) enhanced by Neural Ordinary Differential Equations (NODEs) that learns smooth latent trajectories from time series data. The methodology was shaped through systematic evaluation of different preprocessing options, including whether to apply frequency filtering, how to define time segmentation, and other architectural choices; the final NODE-VAE model was trained for each band-channel-condition combination accordingly. A systematic hyperparameter tuning process, covering window length, overlap, latent dimension, solver type, and training epochs, was conducted to ensure optimal reconstruction performance across all frequency bands for a pilot subject. Reconstruction quality was assessed via Root Mean Squared Error, Pearson correlation and connectivity matrices. The model demonstrated high accuracy in reconstructing EEG signals across frequency bands. After being trained on resting-state data of 34 participants, the model was applied to EEG recordings collected during awe-neutral and awe-inducing VR experiences to perform anomaly detection. Crucially, the statistical comparison between original and reconstructed signals based on spectral features (such as Power Spectral Density, Power Spectral Entropy, and Wavelet Entropy) was perfomed through modified Z-scores, and the Kruskal–Wallis tests. Notably, some individual patterns were found in the majority of subjects (e.g. in Theta and High beta bands). Overall, this thesis validates the use of NODE-based generative models in EEG analysis and offers a principled tool for studying the neural correlates of complex experiences such as the one of awe, supported by a wide set of statistical techniques for EEG signal reconstruction and anomaly detection.

Questa tesi esplora un nuovo approccio computazionale alla modellazione dei segnali di Elettroencefalografia (EEG) registrati a riposo e durante esperienze immersive di Realtà Virtuale (VR) progettate per suscitare la complessa emozione del Sublime. Lo studio contribuisce al più ampio campo delle neuroscienze affettive applicando la modellazione generativa profonda a dati neurali ad alta dimensionalità e dinamicamente variabili nel tempo. Il lavoro ha perseguito tre obiettivi principali: (1) sviluppare un modello generativo profondo per segnali EEG, (2) testare la sua fattibilità nella ricostruzione dei segnali EEG durante lo stato di riposo, (3) applicare il modello generativo addestrato sull’EEG a riposo ai dati EEG acquisiti durante esperienze VR evocative del Sublime in un framework di anomaly detection. L’obiettivo generale è stato di fornire una pipeline robusta e riproducibile per analizzare la dinamica EEG sia in un ambiente di riposo che in contesti emotivamente intensi. Questo è stato ottenuto tramite un approccio guidato dal modello che collega la modellazione matematica, l’elaborazione del segnale neurale e il deep learning. Per catturare la dinamica latente continua dell’attività cerebrale, il metodo proposto impiega un Autoencoder Variazionale (VAE) potenziato da Equazioni Differenziali Ordinarie Neurali (NODEs) che apprende traiettorie latenti regolari a partire da dati temporali. La metodologia è stata definita tramite una valutazione sistematica di diverse opzioni di preprocessing, inclusa la decisione se applicare il filtraggio in frequenza, come definire la segmentazione temporale e altre scelte architetturali; il modello finale NODE- VAE è stato addestrato per ciascuna combinazione di banda-canale-condizione in modo corrispondente. Un processo sistematico di ottimizzazione degli iperparametri, che include lunghezza della finestra, overlap, dimensione latente, tipo di risolutore e numero di epoche di addestramento, è stato condotto per garantire prestazioni ottimali di ricostruzione su tutte le bande di frequenza per un soggetto pilota. La qualità della ricostruzione è stata valutata tramite errore quadratico medio, correlazione di Pearson e matrici di connettività. Il modello ha dimostrato un’elevata accuratezza nella ricostruzione dei segnali EEG su tutte le bande di frequenza. Dopo essere stato addestrato sui dati a riposo di 34 partecipanti, il modello è stato applicato a registrazioni EEG raccolte durante esperienze VR neutre ed evocanti il Sublime per effettuare anomaly detection. In particolare, il confronto statistico tra segnali originali e ricostruiti, basato su caratteristiche spettrali (come Densità Spettrale di Potenza, Entropia Spettrale di Potenza e Energia delle Wavelet), è stato eseguito tramite Z-score modificati e il test di Kruskal–Wallis. In modo significativo, alcuni pattern individuali sono stati osservati nella maggior parte dei soggetti (ad esempio nelle bande Theta e High Beta). Nel complesso, questa tesi convalida l’uso di modelli generativi basati su NODE per l’analisi EEG e oltre uno strumento rigoroso per lo studio dei correlati neurali di esperienze complesse come quella del Sublime, supportato da un ampio insieme di tecniche statistiche per la ricostruzione del segnale EEG e il rilevamento di anomalie.