Beyond single modalities: uncovering neural mechanisms through multimodal EEG, fMRI, and TMS integration in health and psychiatry

Multimodal neuroimaging, neurosignaling, and neurostimulation integration offers a powerful approach to investigate brain function by combining complementary techniques to overcome the inherent limitations of individual modalities. While electroencephalography (EEG) provides excellent temporal resolution for capturing rapid neural dynamics, functional magnetic resonance imaging (fMRI) offers superior spatial precision for localizing brain activity. Similarly, transcranial magnetic stimulation (TMS) enables direct probing of cortical excitability and connectivity when combined with EEG. This thesis explores how integrating these complementary approaches - specifically EEG-fMRI and TMS-EEG - can reveal subtle neural mechanisms underlying cognitive and emotional processes in both healthy individuals and psychiatric populations, providing insights that would remain hidden when using single modalities alone. The first part of this thesis develops and validates two complementary analytical frameworks for EEG-fMRI integration. The first framework utilizes event-related potentials to drive fMRI analysis, enabling the distinction between cognitive sub-processes during inhibitory control tasks. This approach is applied to healthy participants, demonstrating its capability to differentiate N2 and P3 components with high precision, and then extended to patients with major depressive disorder (MDD), revealing depression-specific alterations in frontal, parietal, and temporal regions. The methodology is further applied to investigate auditory processing in early-course schizophrenia (SCZ), where an EEG-driven fMRI connectivity analysis reveals altered network dynamics between the left insula and both prefrontal regions and the default mode network in SCZ. The second framework employs a data-driven approach based on EEG time-frequency representations to investigate motor execution and imagery without prior assumptions about electrode locations or task timing. This analysis reveals an inverse relationship between alpha power suppression and fMRI signal increases in sensorimotor regions and other areas such as the cerebellum, successfully differentiating between right and left-hand movements in both execution and imagery conditions. The second part of this thesis examines TMS-EEG integration to investigate cortical excitability during emotional processing, specifically focused on awe, a complex emotion characterized by perceived vastness and the need for accommodation. Within the SUBRAIN project, virtual reality, EEG, and TMS are integrated to examine the neural correlates of awe in controlled laboratory settings. Through parameter tuning studies, the TMS-EEG preprocessing pipeline is refined, and subsequently, awe-specific modulations in cortical excitability across frontal and central regions are identified. Throughout this thesis, significant technical challenges in multimodal integration are addressed, including artifact correction, parameter refinement, and data integration approaches. The methodologies presented reveal neural mechanisms that would remain hidden when using single modalities alone, with particular emphasis on their application in psychiatric populations. The EEG-fMRI studies highlight altered neurovascular coupling in MDD during inhibitory control and in early-course SCZ during auditory processing, while the TMS-EEG work establishes a foundation for investigating potential therapeutic applications of induced emotional states. This work contributes to the field by developing robust analytical frameworks for multimodal neuroimaging that can be applied across diverse research questions while maintaining sensitivity to disorder-specific neural alterations. The findings underscore the value of integrated approaches in advancing our understanding of brain function and potentially improving diagnostic and therapeutic strategies in psychiatry.

L'integrazione multimodale di segnali, immagini e tecniche di stimolazione neuronale rappresenta un potente approccio per l'analisi delle funzioni cerebrali, combinando tecniche complementari per superare i limiti intrinseci delle singole modalità. Mentre l'elettroencefalogramma (EEG) fornisce un'eccellente risoluzione temporale per catturare le rapide dinamiche neurali, la risonanza magnetica funzionale (fMRI) offre una precisione spaziale superiore per localizzare l'attività cerebrale. Analogamente, la stimolazione magnetica transcranica (TMS) permette di esaminare direttamente l'eccitabilità e la connettività corticale quando associata all'EEG. La presente tesi esplora come l'integrazione di approcci complementari, nello specifico EEG-fMRI e TMS-EEG, possa rivelare i sottili meccanismi neurali alla base dei processi cognitivi ed emotivi sia in individui sani che in popolazioni psichiatriche, fornendo approfondimenti che rimarrebbero non visibili se si utilizzassero singole modalità. La prima parte della presente tesi si concentra sull'integrazione EEG-fMRI, in cui vengono sviluppati e validati due framework analitici complementari. Il primo framework utilizza i potenziali evento-realti per guidare l'analisi fMRI, consentendo la distinzione tra sotto-processi cognitivi durante esercizi di controllo inibitorio. Tale approccio è stato applicato inzialmente a partecipanti sani, dimostrando la sua capacità di differenziare le componenti N2 e P3 con elevata precisione. In seguito, tale metodologia è stata estesa a pazienti con disturbo depressivo maggiore (MDD), rivelando alterazioni specifiche della depressione nelle regioni frontali, parietali e temporali. La metodologia è stata ulteriormente applicata per investigare l'elaborazione uditiva nella schizofrenia (SCZ) a esordio precoce, dove un'analisi di connettività funzionale EEG-fMRI guidata dai dati rivela dinamiche di rete alterate tra l'insula sinistra e sia le regioni prefrontali che la rete in modalità default nei soggetti con SCZ. Il secondo framework impiega un approccio guidato dai dati basato su rappresentazioni tempo-frequenza per investigare l'esecuzione e l'immaginazione motoria senza assunzioni preliminari riguardo alle posizioni degli elettrodi o alla tempistica del compito. L'analisi condotta ha rivelato una relazione inversa tra la soppressione della potenza alfa e l'aumento del segnale fMRI sia in regioni sensorimotorie che regioni coinvolte in altri processi cognitivi, permettendo una differenziazione efficace tra i movimenti della mano destra e sinistra sia nelle condizioni di esecuzione che di immaginazione sfruttando un unico framework EEG-fMRI. La seconda parte del progetto si concentra sull'integrazione tra la tecnica TMS ed EEG per investigare l'eccitabilità corticale durante l'elaborazione emotiva, focalizzandosi specificamente sul concetto di sublime, definito come un'emozione complessa caratterizzata da una vasta gamma di percezioni e dalla necessità di un adattamento. All'interno del progetto SUBRAIN, la realtà virtuale, EEG e TMS sono integrati per esaminare i correlati neurali del sublime in ambienti di laboratorio controllati. Attraverso studi di ottimizzazione dei parametri, la pipeline di pre-elaborazione TMS-EEG viene ottimizzata e, successivamente, vengono identificate modulazioni specifiche del sublime nell'eccitabilità corticale nelle regioni frontali e centrali. Nel corso della presente tesi, vengono esaminate significative sfide tecniche nell'ambito dell'integrazione multimodale, tra cui la correzione degli artefatti, l'ottimizzazione dei parametri e lo studio degli approcci di integrazione dei dati stessi. Le metodologie presentate rivelano meccanismi neurali che rimarrebbero nascosti utilizzando singole modalità, con particolare enfasi sulla loro applicazione in popolazioni psichiatriche. Gli studi EEG-fMRI evidenziano un accoppiamento neurovascolare alterato nell'MDD durante il controllo inibitorio e nella SCZ a esordio precoce durante l'elaborazione uditiva, mentre il lavoro TMS-EEG stabilisce una base per investigare potenziali applicazioni terapeutiche degli stati emotivi indotti. Questo studio contribuisce al campo dell'imaging cerebrale multimodale sviluppando robusti framework analitici che possono essere applicati a diverse problematiche di ricerca, mantenendo al contempo la sensibilità alle alterazioni neurali specifiche dei disturbi. I risultati ottenuti evidenziano l'importanza degli approcci integrati per approfondire la nostra comprensione delle funzioni cerebrali e potenzialmente migliorare le strategie diagnostiche e terapeutiche in psichiatria.