Predicting fMRI activity from concurrent EEG using Deep Learning

Simultaneous EEG-fMRI acquisitions are used to exploit the highly complementary characteristics of the two modalities, and this is of potential interest for neurofeedback (NF) applications aiming to modulate brain networks in the context of rehabilitation or therapeutic interventions. While EEG is not only inexpensive but also portable and easy to operate, fMRI is able to capture the activity of large brain areas or networks with much higher specificity. This complementarity has motivated the search for solutions capable of identifying EEG models that predict a given fMRI signal of interest, based on simultaneous EEG-fMRI recordings, so that appropriate EEG-based NF protocols can then be developed. One important application is stroke neurorehabilitation strategies based on training brain motor circuits by performing motor imagery (MI) tasks, which can be reinforced by providing neurofeedback to the patient using EEG and/or fMRI. Previous work has been developed towards the estimation of fMRI-inspired EEG features targeting the activity of the amygdala or the motor cortex using linear regression techniques. Deep Learning techniques present great potential for the classification of EEG signals, but they have not yet been exploited for the purpose of predicting concurrent fMRI signals. Here we aim to develop a Deep Learning strategy to estimate from EEG signals the fMRI activity in the motor cortex associated with a MI task. We used simultaneous EEG-fMRI data collected from healthy participants while performing MI tasks from a dataset collected at Instituto Superior Técnico de Lisboa. Since the Deep Learning approach to this task is novel, we have reviewed the literature in search of the most promising architecure. The basis of this work is EEGnet a compact model which features explainability. Appropriate Deep Learning techniques and modifications to the model are considered and tested and their performance is evaluated.

L’acquisizione simultanea di EEG e di fMRI è utilizzata per sfruttare le caratteristiche altamente complementari delle due modalità, e ciò è di potenziale interesse per le applicazioni basate sul neurofeedback (NF) che mirano a modulare i network cerebrali nel contesto della riabilitazione o di interventi terapeutici. L’EEG è economica, portatile e facile da operare, al contempo l’fMRI è capace di catturare l’attività di grandi aree del cervello o dei network con specificità molto maggiore. Questa complementarietà ha motivato la ricerca per soluzioni capaci di identificare modelli EEG che predicono un dato segnale fMRI di interesse, basandosi su delle registrazioni simultanee di EEG-fMRI, in modo da poter poi sviluppare protocolli NF basati su EEG. Un’applicazione importante di questa tecnologia sono le strategie per la riabilitazione da ictus basate sull’allenamento di circuiti cerebrali motori attraverso compiti di motor imagery (MI), che possono essere rinforzati provvedendo neurofeedback al paziente utilizzando EEG e/o fMRI. Lavori precedenti si sono concentrati sulla stima di caratteristiche EEG ispirate da fMRI mirando all’attività dell’amigdala o della corteccia motoria usando tecniche di regressione lineare. Le tecniche di Deep Learning presentano grande potenziale per la classificazione di segnali EEG, ma non sono ancora state sfruttate allo scopo di predirre segnali fMRI campionati simultaneamente. In questo studio miriamo a sviluppare una strategia Deep Learning per stimare modelli EEG per predirre l’attività fMRI nella corteccia motoria in associazione a un compito di motor imagery (MI). Abbiamo utilizzato stimulazioni simultanee di dati EEG-fMRI ottenuti da partecipanti in salute mentre performano compiti di motor imagery collezionati all’Istituto Superior Tecnico di Lisbona. Poichè l’approccio a questo task attraverso modelli di Deep Learning è una novità, la letteratura disponibile è stata analizzata in cerca del modello più promettente. La base di questo lavoro è EEGnet, un modello compatto che offre spiegabilità. Tecniche appropriate di Deep Learning e modifiche al modello sono state considerate e testate e la loro performance è stata valutata.