Analisi congiunta delle componenti indipendenti (jointICA) per l'integrazione di EEG e fMRI

Abstract Introduction: To get a complete picture of how the human brain works, there is a need for the combination of different types of observations. For this reason, the multi-modal approaches are becoming increasingly popular in neuroscience research. In addition to their non-invasiveness, the integration of EEG and fMRI has several advantages, at the same time, they are the motivation behind their integration. The first advantage of EEG and fMRI lies in their complementary properties. The EEG measures the electrical responses with millisecond accuracy, but suffers from limited accuracy due to the spatial positions of the electrodes confined to the surface of the scalp. MRI produces very accurate spatial images based on local changes of cerebral hemodynamics. This hemodynamic response is, however, a slow signal and fMRI images are acquired only a few seconds. For this reason, it is believed that the complementarity between the high temporal resolution of EEG and the high spatial resolution of fMRI may provide a deeper understanding of brain function and dysfunction. The algorithm identifies the JointICA independent components for both modes simultaneously. To do this, it starts from ERP epochs in the time domain and the fMRI activation maps in the spatial domain. The method assumes that the different wave components (peaks) of the ERP and the spatial components in a statistical map of brain activation (activation sites) of the same stimulus co - vary, either because they are generated in the same region of the brain (Logothetis et al. 2001 showed that the BOLD response is highly correlated with neuronal activity in the same region of the brain), and because the active areas BOLD have roles to participate in activities ERP, without being the source of a particular wave ERP. The purpose of this thesis is the use of data-driven approaches for the analysis of EEG, fMRI and the integration of both. More particularly, EEG, ERP signals were extracted in order to investigate the sensory processes related to intermittent light stimulation. The integration of EEG (or ERP) and fMRI is a complex field, not only for reasons of quality of the data, but also for the completely different nature of the two modes. Materials and Methods: The participants were four healthy volunteers normal sighted and negative history related to seizures, neurological or psychiatric disorders. The stimulation protocol was developed with Presentation ® software (Neurobehavioral Systems Inc.). EEG-fMRI experiment, visual stimuli were issued through MRI compatible goggles (Resonance Technology Inc.). The experimental procedure was characterized by blocks of intermittent light stimulation (ILS). The ILS was created alternating screens whites and blacks to four different frequencies (6, 8, 10 and 12 Hz). Blocks stimulation duration of 7 fMRI scans, corresponding to 14 seconds, were alternated with blocks of rest. The blocks of each frequency stimulation were repeated 5 times. The subjects kept their eyes open throughout the experiment and during the rest periods were asked to fix a yellow cross at the center of a black background. The fMRI experiment had a total duration of 580 s. The clean EEG data were exported and further processed in MATLAB R2013a (The MathWorks Inc, Natick, Massachusetts, USA) with 12:02 EEGLAB toolbox (Delorme and Makeig, 2004). ERP were extracted relating to the first flash of each block of ISL. ERPs were segmented from 100 ms before stimulus to 500 ms after the onset of the stimulus; was corrected the baseline (-100 ms to 0ms) data and the maximum amplitude of 150 mV. Subsequently, it was calculated an ERP average for each type of stimulus, that is, for each frequency (6, 8, 10 and 12 Hz), and these ERP medium were included in the analysis JointICA. For the application of the algorithm JointICA, the EEG channels were used O1, O2, Oz, PO7, PO8 and POz. The choice of channels occipital is linked to the nature of the stimulus - visual type. The ERP data from the electrodes PO7 and PO8 were used to observe the activations corresponding to the visual field left and right, respectively. The ERP belonging Oz electrode was also used because the peak of the ERP C1, corresponding to the activations in the primary visual cortex, it is observable only on the electrodes of the midline (Martinez et al., 2001, Di Russo et al., 2003 , 2005). The ERP signals were obtained by mediating the epochs of interest for each channel. It was used for the jointICA a single signal ERP of each subject, obtained by averaging the occipital channels. The steps of the method jointICA in short are: Principal Component Analysis (PCA) - The data shall be reduced by PCA. The first combination mode is all stacked together in columns. Independent Component Analysis (ICA) - ICA is performed on the reduced data obtained from the phase of the PCA. Back Reconstruction - The components of the mixing matrix are multiplied by the unwhiting matrix obtained from step PCA. Scaling Components: The components obtained after the step of ICA are in arbitrary units. These will be scaled by a multiple regression of the components (model) with the original data (observations) of the modes. The sign of the component is inverted depending on weight beta. The method of jointICA was applied to the series time-frequency images and fMRI. The series time-frequency, that is, the powers at the same frequency of the stimulus administered (6 Hz, 8 Hz, 10 Hz and 12 Hz), extracted EEG, and were obtained for each subject. The entrance to the jointICA is the time-frequency series of each subject and the corresponding fMRI image. The EEG signal was decomposed into time-frequency domain. The channels selected were those that should be more involved in the modulation of oscillatory activity during the task. In our case, since the experimental protocol corresponds to a visual stimulus, the occipital channels were chosen. The signal extracted from the channels, has been analyzed in the time-frequency domain and convoluted with complex Morlet wavelet, having a frequency range from 1 to 40 Hz to 0.5 Hz, as previously done by Sclocco et al. Bandwidth EEG was limited to 40 Hz (low-rate range), as well as the frequency artifacts related to the scanner are more difficult to remove and prevent you from getting a good signal. The variable power in time of the signal around the frequency f (stimulus frequency - 6, 8, 10 and 12 Hz) was then obtained by the squared modulus of the convolution (Tallon-Baudry and Bertrand, 1999) between the signal extracted from the channels occipital and w (f, t) complex Morlet wavelet. Having available the power signals of each subject for each of four frequencies, an average signal power was obtained by averaging the signals from the occipital channels corresponding to a specific subject and at a specific frequency of stimulation. In this way, each subject has its time signal - the average signal power, that 'the serious time-frequency average, which along with the image of fMRI is the input of the algorithm jointICA. Results: The method of jointICA was applied to the EEG and fMRI data recorded simultaneously on four subjects. ERP signals obtained by averaging the epochs of interest correspond to stimulation at 6, 8, 10 and 12 Hz. The components therefore have an independent component (IC)-specific fMRI activation, and the corresponding ERP average, along with the independent component wave ERP. The method of jointICA has also been applied to EEG data, ie, the set time-frequency and fMRI images. The power at the same frequency of the stimulus administered were extracted EEG for each subject. This was the signal in the time it has been used the same way as the ERP signal in the previous chapter. The analysis in the frequency domain has been made at separate frequencies, similarly as the analysis in the time domain. The analysis of the group was made for four subjects together. The input to the jointICA is the time-frequency series of each subject and the corresponding fMRI image. Disscusion: Due to the intermittent visual stimulation, occipital channels were chosen for the extraction of the EEG signal ERP. The signals from the electrodes PO7 and PO8 corresponds to the left and right visual field. The signal from the electrode Oz was chosen because there is observed well the C1 peak corresponding to the primary visual cortex. Having the ability to use only one signal for the analysis of ERP jointICA, an ERP average was obtained by averaging the ERP previously obtained from the occipital channels. There are the following activations: the C1 peak should correspond to the activity in the vicinity of the calcarine sulcus, while the peak P1 early should activate areas dorsal extra-striate in the middle occipital gyrus. In addition, the delayed wave P1 is known to be linked to activation in the ventral fusiform gyrus, and the first peak N1 should produce activations of the parietal lobe near the intraparietal sulcus (Di Russo et al., 2001, 2003). In addition to this visual stimulus, our subjects were required to respond to presented stimuli by pressing a button, which should evoke sensory activation of the somatosensory cortex and primary motor cortex. In this study, we had only four subjects, which is less compared to other studies in which the number of participants has exceeded twenty subjects per task. To get a signal ERP epochs were averaged. Doing analysis at frequencies separated four or five epochs of each subject for each of the four frequencies are mediated. The total number of epochs was twenty. This means that the visual aspect of ERP signal based upon the number of epochs mediated, and mediated by having a smaller number of times, in comparison with other groups where the number of stimuli was about a hundred, the ERP signal so it does not seem like the optimal theoretical case or in the case of the previously published results by other groups. Including more subjects for analysis, could further help to find meaningful connections between the peaks ERP and fMRI activations. This requirement of the data becomes especially important in the case of simultaneous recordings, in which the between-subject variability is greater. Conclusion: In this study, the performance of jointICA is studied as an alternative method for the integration of EEG-fMRI data in the event of a visual stimulation. Having only four subjects available for group analysis, the results do not seem very comparable to the results obtained by research groups in the past. One of the reasons would be the number of subjects included, which, in fact, should be higher in order to obtain a better and complete decomposition. The successful application of the methods as jointICA, where they are used ERP and fMRI mediated, might suggest that this approach should be preferred to the trial-by-trial integration methods. However, the trial-by-trial variability in neural activity is an important aspect in the field of cognitive neuroscience and for this method is the method of jointICA should not replace existing methods based on single test, but rather considered as a viable option for some applications.

Sommario Introduzione: Per ottenere un quadro completo di come funziona il cervello umano, è necessaria una combinazione di diversi tipi di osservazioni. Per questo motivo, gli approcci multimodali stanno diventando sempre più popolari nella ricerca delle neuroscienze. Oltre alla loro non invasività, l'integrazione di EEG e fMRI ha diversi vantaggi che, allo stesso tempo, rappresentano la motivazione dietro la loro integrazione. Il primo vantaggio di EEG e fMRI risiede nelle loro proprietà complementari. L’EEG misura le risposte elettriche con una precisione do millisecondo, ma soffre di limitata accuratezza spaziale a causa delle posizioni degli elettrodi limitati alla superficie dello scalpo. La fMRI produce immagini spaziali molto precise sulla base di variazioni locali di emodinamica cerebrale. Questa risposta emodinamica è, tuttavia, un segnale lento e immagini fMRI sono acquisite solo a pochi secondi. Per questo motivo, si ritiene che la complementarità tra l'alta risoluzione temporale di EEG e l'alta risoluzione spaziale di fMRI possa fornire una comprensione più profonda sulla funzione e disfunzione cerebrale. L’algoritmo di JointICA identifica i componenti indipendenti per entrambe le modalità contemporaneamente. Per fare questo, si riparte da epoche ERP nel dominio temporale e l'attivazione fMRI mappe nel dominio spaziale. Il metodo presuppone che i diversi componenti di onda (picchi) del ERP e i componenti spaziali in una mappa statistica di attivazione cerebrale (siti attivazione) dello stesso stimolo co - varino, sia perché vengono generati nella stessa regione del cervello (Logothetis et al. 2001 ha mostrato che la risposta BOLD è altamente correlata con l'attività neuronale della stessa regione del cervello), sia perché le aree attive BOLD hanno avuto ruoli di partecipazione in attività ERP, senza essere la fonte di una particolare onda ERP. Lo scopo di questa tesi è l'utilizzo di approcci ’’data-driven’’ per l'analisi di EEG, fMRI e l'integrazione di entrambi. Più in particolare, dall’EEG, i segnali ERP sono stati estratti al fine di indagare i processi sensoriali legati alla stimolazione luminosa intermittente. L'integrazione di EEG (o ERP) e fMRI è un campo complesso, non solo per motivi di qualità dei dati, ma anche per la completamente diversa natura delle due modalità. Materiali e Metodi: I partecipanti sono stati quattro volontari sani normo vedenti e anamnesi negativa relativa a crisi epilettiche, disturbi neurologici o psichiatrici. Il protocollo di stimolazione è stato sviluppato con Presentation® Software (Neurobehavioral Systems Inc.). Nell’esperimento EEG-fMRI, gli stimoli visivi sono stati emessi tramite occhialini RM compatibili (Resonance Technology Inc.). La procedura sperimentale era caratterizzata da blocchi di stimolazione luminosa intermittente (SLI). La SLI è stata creata alternando schermi bianchi e neri a quattro diverse frequenze (6, 8, 10 e 12 Hz). Blocchi di stimolazione della durata di 7 scansioni fMRI, corrispondenti a 14 secondi, sono stati alternati a blocchi di riposo. I blocchi di ciascuna frqeuenza di stimolazione sono stati ripetuti 5 volte.. I soggetti hanno tenuto gli occhi aperti durante tutto l'esperimento e durante i periodi di riposo gli è stato richiesto di fissare una croce gialla al centro di uno sfondo nero. L'esperimento fMRI ha avuto una durata complessiva di 580 s. I dati EEG puliti sono stati esportati e elaborati ulteriormente in MATLAB R2013a (The MathWorks Inc, Natick, Massachusetts, USA) con EEGLAB 12.02 toolbox (Delorme e Makeig, 2004). Sono stati estratti gli ERP relativi al primo flash di ogni blocco di SLI. Gli ERP sono stati segmentati a partire da 100 ms prima dello stimolo fino a 500 ms dopo la comparsa dello stimolo; è stata corretta la linea di base (da -100 ms a 0ms) i dati e l’ampiezza massima di 150 mV. Successivamente, è stato calcolato un ERP medio per ogni tipo di stimolo, cioè per ogni frequenza (6, 8, 10 e 12 Hz), e questi ERP medi sono stati inseriti nell'analisi JointICA. Per l'applicazione dell'algoritmo JointICA, i canali EEG usati erano O1, O2, Oz, PO7, PO8 e POz. La scelta dei canali occipitali è legata alla natura dello stimolo, di tipo visivo. I dati ERP dagli elettrodi PO7 e PO8 sono stati usati per osservare le attivazioni corrispondenti al campo visivo destro e sinistro, rispettivamente. L'ERP appartenente all'elettrodo Oz era inoltre utilizzato perché il picco C1 dell’ERP, corrispondente alle attivazioni nella corteccia visiva primaria, è osservabile solo sugli elettrodi della linea mediana (Martinez et al., 2001, Di Russo et al., 2003, 2005). I segnali ERP sono stati ottenuti mediando le epoche di interesse per ogni canale. E’ stato usato per il jointICA un singolo segnale ERP di ogni soggetto, ottenuto mediando i canali occipitali. I passaggi del metodo jointICA in breve sono: Analisi delle Componenti Principali (PCA) - I dati saranno ridotti mediante PCA. La prima combinazione sono tutte le modalità impilate insieme in colonne. Analisi delle Componenti indipendenti (ICA) - ICA verrà eseguito sui dati ridotti ottenuti dalla fase di PCA. Back Reconstruction - Le componenti della matrice di miscelazione vengono moltiplicati per la matrice di desbiancamento ottenuta dalla fase PCA. Scaling Components: Le componenti ottenute dopo il passo di ICA sono in unità arbitrarie. Queste saranno scalate facendo una regressione multipla dei componenti (modello) con i dati originali (osservazioni) delle modalità. Il segno della componente viene capovolto a seconda del peso beta. Il metodo di jointICA è stato applicato alle serie tempo-frequenza e le immagini fMRI. Le serie tempo-frequenza, cioè le potenze alla stessa frequenza dello stimolo somministrato (6 Hz, 8 Hz, 10 Hz e 12 Hz), estratte dall’EEG, sono state ottenute per ciascun soggetto. L’ingresso del jointICA sono le serie tempo-frequenza di ciascun soggetto e l’immagine fMRI corrispondente. Il segnale EEG è stato scomposto nel dominio tempo-frequenza. I canali selezionati sono stati quelli che dovrebbero essere più coinvolti nella modulazione dell'attività oscillatoria durante il task. Nel nostro caso, poiché il protocollo sperimentale corrisponde ad un stimolo visivo, i canali occipitali sono stati scelti. Il segnale estratto dai canali, è stato analizzato nel dominio tempo-frequenza e convoluto con wavelet Morlet complesse, aventi una gamma di frequenza da 1 a 40 Hz a 0,5 Hz. Come precedentemente fatto da Sclocco et al., la larghezza di banda EEG era limitata a 40 Hz (ritmo basso-gamma), poiché oltre tale frequenza gli artefatti legati allo scanner sono più difficili da rimuovere e impediscono di ottenere un segnale di buona qualità. La potenza variabile nel tempo del segnale intorno frequenza f (frequenza di stimolo – 6, 8, 10 e 12 Hz) è stata poi ottenuta dal modulo quadrato della convoluzione (Tallon-Baudry e Bertrand, 1999) tra il segnale estratto dai canali occipitali e w(f, t) wavelet Morlet complesse. Avendo a disposizione i segnali di potenza di ogni soggetto per ciascuna di quattro frequenze, un segnale medio di potenza è stato ottenuto mediando i segnali dai canali occipitali corrispondenti ad un specifico soggetto e ad una specifica frequenza di stimolazione. In questo modo, ogni soggetto ha il suo segnale temporale – il segnale medio di potenza, cioe’ la seria tempo-frequenza media, che insieme all’immagine della fMRI rappresenta l’ingresso dell’algoritmo jointICA. Risultati: Il metodo di jointICA è stato applicato ai dati EEG e fMRI registrati contemporaneamente su 4 soggetti. I segnali ERP ottenuti mediando le epoche d’interesse corrispondono alla stimolazione a 6, 8, 10 e 12 Hz. Le componenti che ne derivano per lo stimolo a frequenze diverse, presentano una componente indipendente (IC) specifica della attivazione fMRI, e il corrispondente ERP medio, insieme alla componente indipendente dell’onda ERP. Il metodo di jointICA è stato applicato anche ai dati EEG, cioè alle serie tempo-frequenza e le immagini fMRI. Le potenze alla stessa frequenza dello stimolo somministrato sono state estratte dall’EEG per ciascun soggetto. Questo era il segnale nel tempo che è stato usato analogamente come il segnale ERP nel capitolo precedente. L’analisi nel dominio di frequenze è stata fatta a frequenze separate, analogamente come l’analisi nel dominio del tempo. L’analisi del gruppo è stata fatta per quattro soggetti insieme. L’ingresso del jointICA sono le serie tempo-frequenza di ciascun soggetto e l’immagine fMRI corrispondente. Discussione: Siccome si trattava di una stimolazione visiva intermittente, i canali occipitali sono stati scelti per l’estrazione del segnale ERP dall’EEG. I segnali provenienti dagli elettrodi PO7 e PO8 corrispondevano al campo visivo destro e sinistro. Il segnale dall’elettrodo Oz era scelto perché lì si osserva bene il picco C1 corrispondente alla corteccia visiva primaria. Avendo solo la possibilità di usare un solo segnale ERP per l’analisi di jointICA, un ERP medio è stato ottenuto mediando gli ERP in precedenza ottenuti dai canali occipitali. Sono previste le seguenti attivazioni: il picco C1 dovrebbe corrispondere all'attività in prossimità del solco calcarina, mentre il picco P1 precoce dovrebbe attivare le aree dorsale extra striate del giro occipitale medio. Inoltre, l'onda ritardata P1 è nota per essere legata alle attivazioni nel giro fusiforme ventrale, e il primo picco N1 dovrebbe produrre attivazioni del lobo parietale, vicino al solco intraparietale (Di Russo et al., 2001, 2003). In aggiunta a questo stimolo visivo, i nostri soggetti sono stati tenuti a rispondere a stimoli presentati premendo un pulsante, che dovrebbe evocare attivazione della corteccia somato sensoriale e corteccia motoria primaria. In questo studio, abbiamo avuto solo quattro soggetti, che è meno rispetto ad altri studi in cui il numero dei partecipanti ha superato venti soggetti per task. Per ottenere un segnale ERP, le epoche sono state mediate. Facendo un’analisi a frequenze separate, quattro oppure cinque epoche di ogni soggetto per ogni delle quattro frequenze sono mediate. Il numero totale delle epoche era venti. Questo vuol dire che l’aspetto visivo del segnale ERP dipendeva dal numero delle epoche mediate, ed avendo mediato un numero minore delle epoche, in comparazione con altri gruppi dove il numero di stimoli era sui cento, il segnale ERP non sembra cosi ottimale come nel caso teorico oppure nel caso dei risultati precedentemente pubblicati da altri gruppi. Compresi più soggetti per l'analisi, potrebbe ulteriormente aiutare a trovare i collegamenti significativi tra i picchi ERP e le attivazioni fMRI. Questo requisito dei dati diventa particolarmente importante nel caso di registrazioni simultanee, in cui la variabilità tra i soggetti è maggiore. Conclusione: In questo studio, la prestazione di jointICA è studiata come metodo alternativo per l’integrazione dei dati EEG-fMRI in caso di una stimolazione visiva. Avendo solo quattro soggetti a disposizione per l'analisi di gruppo, i risultati non sembrano molto comparabili ai risultati ottenuti dai gruppi di ricercatori nel passato. Una delle ragioni sarebbe il numero di soggetti inclusi, che, infatti, dovrebbe essere superiore al fine di ottenere una migliore e completa decomposizione. L’applicazione di successo dei metodi come jointICA, dove sono usati ERP e fMRI mediati, potrebbe suggerire che tale approccio dovrebbe essere preferito a trial-by-trial metodi di integrazione. Tuttavia, la variabilità trial-by-trial in attività neurale è un aspetto importante nel campo delle neuroscienze cognitive ed è per questo metodo il metodo di jointICA non dovrebbe sostituire i metodi basati a prova singola, ma piuttosto considerata come una valida possibilità per alcune applicazioni.