Development of a hybrid EEG-NIRS brain computer interface for multiple motor tasks

Non-invasive Brain-Computer Interfaces (BCI) have demonstrated great promise for neuroprosthetics and assistive devices. Here we aim to investigate methods to combine Electroencephalography (EEG) and Near-infrared Spectroscopy (NIRS) in an asynchronous Sensory Motor rhythm (SMR)-based BCI. We attempted to classify 4 di erent executed and imagined movements: Right-arm, Left-arm, Right-hand, and Left-hand tasks. Previous studies demonstrated the bene t of EEG-NIRS combination, without processing the NIRS signal with online implementable methods for an asynchronous paradigm. Since normally the NIRS hemodynamic response shows a long delay, we investigated new features, involving slope indicators, in order to immediately detect changes in the signals. Moreover, Common Spatial Patterns (CSPs) have been applied to both EEG and NIRS signals. Fifteen healthy subjects took part in the experiments, and, because 25 trials per class were available, CSPs have been regularized with information from the entire population of participants and optimized using genetic algorithms. Di erent approaches have been investigated for feature extraction, classi cation, and signal association. The results showed that a hybrid EEG-NIRS approach enhances the performance of EEG or NIRS separately. Better performances are achieved for the motor execution paradigm, probably due to the subjects' inexperience in motor imagery, despite the small dataset available.

Le Brain-Computer Interface (BCI) non invasive si sono dimostrate una grande promessa per neuroprotesi e dispositivi di assistenza. In questa tesi l'obiettivo principale é quello di investigare diversi metodi per riuscire ad integrare elettroencefalogramma (EEG) e Near-infrared-spectroscopy (NIRS) nello sviluppo di una BCI asincrona basata sulla modulazione dei ritmi moto-sensoriali (Sensory Motor Rithms - SMR). Abbiamo cercato di classi care 4 di erenti task motori sia eseguiti, sia immaginati. I 4 diversi movimenti erano: elevazione (continuata) di braccio destro e sinistro e chiusura-apertura di mano destra e sinistra. Abbiamo utilizzato 21 canali EEG e 34 canali NIRS (12 sorgenti e 12 detettori) uniformemente distribuiti sulla corteccia motoria per acquisire dati da 15 soggetti sani. Ogni soggetto ha e ettuato 25 trial per ogni classe, sia per motor execution, sia per motor imagery. Per quest'ultimo paradigma, é stato sviluppato un software per fornire al soggetto feedback real-time basato sulla modulazione dei ritmi moto-sensoriali dell'EEG. Studi precedentemente e ettuati hanno provato il bene cio di combinare EEG e NIRS nella classi cazione di task motori, ma, a nostra conoscenza, mai processando il segnale NIRS con metodi applicabili real-time ad una BCI con paradigma asincrono. In questo studio abbiamo valutato la performance nella classi- cazione di una Linear Discriminant Analyisis (LDA), utilizzando di erenti set di features, estratte in diversi modi dai segnali EEG e NIRS pre-processati. Per quanto riguarda l'EEG, le caratteristiche utilizzate per classi care sono state le potenze in banda e . Filtri spaziali ottimi sono stati stimati usando Common Spatial Patterns (CSPs), i quali aumentano la discriminabilitá tra due classi in termini di varianza. Per valutare il vantaggio dell'uso di CSP, classi catori sono stati addestrati anche estraendo features dai singoli canali separatamente, senza ltri spaziali. Normalmente la risposta emodinamica rilevata dal NIRS mostra un ritardo relativamente lungo rispetto all'inizio del task (circa 5-7 s). Per ovviare a questo problema abbiamo utilizzato features per riconoscere immediatamente cambiamenti dell'attivitá emodinamica. Le caratteristiche estratte dal NIRS sono state la media e la pendenza dei segnali di emoglobina ossigenata (HbO) e de-ossigenata (HbR). Inoltre, anche nel caso del NIRS, sono stati stimati ltri spaziali tramite CSP; dai segnali ltrati i range delle componenti piú informative sono stati usati come features. Dal momento che 25 trials sono pochi per applicazioni BCI ed i CSP tendono ad aderire eccessivamente ai dati utilizzati per il training, le covarianze sono state regolarizzate usando i dati acquisiti da tutti i soggetti. Per ottimizzare i parametri di regolarizzazione abbiamo adottato algoritmi genetici, che hanno permesso di limitare il fenomeno dell'over- tting ed aumentare la performance dei classi catori. I risultati mostrano che il paradigma asincrono, nel quale prima di ogni ulteriore classi cazione deve essere riconosciuta la di erenza tra Rest e Task, puó essere adottato sia nel caso di motor execution (94.2% di accuratezza), sia nel caso di motor imagery (85.8%). In entrambi i casi la miglior performance é raggiunta combinando EEG (con CSP) e NIRS (senza CSP). Per la classi cazione delle 4 classi sono stati provati due approcci di erenti: il primo classi ca destra-sinistra e braccio-mano; il secondo invece consiste nella classi cazione di coppie di classi (ad esempio braccio destro-mano destra o mano sinistra-mano destra). Il primo approccio si é rivelato il migliore dei due, tenendo conto del setup seprimentale e del numero di trials per classe. Il limitato numero di esempi da dare in pasto all'algoritmo di classi cazione, infatti, ha reso l'over- tting troppo elevato per il secondo approccio, nonostante l'uso di tecniche di regolarizzazione. Per entrambi gli approcci i classi catori con la piú alta accuratezza sono stati ottenuti usando features estratte sia dai segnali EEG che dai segnali NIRS. Inoltre, la performance ottenuta nel classi care i task eseguiti é stata signi cativamente piú elevata rispetto ai task immaginati. L'accuratzza nel classi care i task immaginati non si é rivelata su ciente per poter utilizzare questo paradigma in una BCI con buone prestazioni. Questo risultato puó essere spiegato con il fatto che i soggetti non avevano alcuna esperienza nell'immaginare i movimenti. Inoltre, probabilmente sarebbe stato necessario un feedback piú articolato per comunicare ai soggetti in real-time quale classe veniva riconosciuta durante gli esperimenti. Il ruolo dei segnali NIRS e delle features estratte da essi si é rivelato estremamente importante per la classi cazione. Le features utilizzate hanno reso la risposta dei classi catori molto piú veloce rispetto alla letteratura, rilanciando il ruolo del NIRS nella ricerca in ambito BCI. I risultati, in conclusione, dimostrano il bene cio di un approccio ibrido con EEG e NIRS alla classi cazione di task motori, rispetto all'uso degli stessi segnali usati separatamente.