Deep learning-based prediction of BOLD-fMRI signals from simultaneous EEG during motor imagery

Simultaneous EEG-fMRI acquisition is a growing field with potential applications in neurofeedback (NF)-based brain computer interfaces (BCIs) for stroke rehabilitation. Within this framework, motor imagery (MI) with BCIs is widely used to restore motor functions by translating brain activity into actual movement of external devices, promoting neuroplasticity. Adding NF provides real-time feedback, helping users to optimize their performance. EEG is characterized by high temporal resolution but low spatial resolution. Conversely, fMRI has excellent spatial resolution but worse temporal resolution. Combining these modalities leverages their complementary strengths, offering detailed insights into brain activity both in time and space, and thereby enhancing NF regulation. However, fMRI acquisition is expensive and non-portable, while EEG can much more easily be used for BCI applications. Therefore, our goal is to predict fMRI activity from simultaneous EEG, in particular by identifying EEG correlates of brain network activity mapped with fMRI. Despite several attempts, it remains challenging to predict fMRI signals from EEG. Previous methods have primarily used Machine Learning (ML) with linear regression techniques. In this study, we explore the potential of Deep Learning (DL) to estimate fMRI activity from simultaneous EEG data during MI tasks. First, we adapt a previously proposed DL model for EEG classification (EEGNet) to the regression task. Next, we design a Long Short-Term Memory (LSTM) network. Finally, we compare the performance of our DL models against a linear regression model, which represents the current state-of-the-art of the field. For our study, we used simultaneous EEG-fMRI data collected from 15 subjects performing MI, provided by Insituto Superior Técnico de Lisboa, Portugal.

L'acquisizione simultanea di EEG e fMRI è un campo in crescita con potenziali applicazioni nelle interfacce cervello-computer basate su neurofeedback (NF) per la riabilitazione post-ictus. All'interno di questo contesto, l’immaginazione motoria in sinergia con tali interfacce è ampiamente utilizzata per ripristinare le funzioni motorie traducendo l'attività cerebrale nel movimento effettivo di dispositivi esterni, promuovendo così la neuroplasticità. L'aggiunta del NF fornisce un feedback in tempo reale, aiutando i soggetti ad ottimizzare le loro performance. L'EEG è caratterizzato da un'alta risoluzione temporale ma bassa risoluzione spaziale, mentre l'fMRI offre un'eccellente risoluzione spaziale ma una peggiore risoluzione temporale. Combinare queste modalità sfrutta i loro punti di forza complementari, offrendo dettagliato monitoraggio sull'attività cerebrale sia nel tempo che nello spazio, migliorando così la regolazione del NF. Tuttavia, l'acquisizione di fMRI è costosa e non portatile, mentre l'EEG può essere molto più facilmente utilizzato per le applicazioni di interfacce cervello-computer. Pertanto, il nostro obiettivo è predire l'attività fMRI dai dati EEG simultanei, identificando in particolare i correlati EEG dell'attività delle reti cerebrali mappate durante fMRI. Nonostante vari tentativi, rimane difficile predire i segnali fMRI dall'EEG. I metodi precedenti hanno principalmente utilizzato tecniche di regressione lineare nel campo del Machine Learning (ML). In questo studio, esploriamo il potenziale del Deep Learning (DL) per stimare l'attività fMRI dai dati EEG simultanei durante compiti di immaginazione. Inizialmente adattiamo un modello di DL precedentemente proposto per la classificazione EEG (EEGNet) al compito di regressione. Successivamente, progettiamo una rete Long Short-Term Memory (LSTM). Infine, confrontiamo le performance dei nostri modelli di DL con un modello di regressione lineare, che rappresenta lo stato dell'arte attuale nel campo. Per il nostro studio, abbiamo utilizzato dati simultanei di EEG-fMRI raccolti da 15 soggetti durante esecuzioni di immaginazione motoria, forniti dall'Insituto Superior Técnico di Lisbona, Portogallo.