EEGNet : deep learning classifier for motor imagery and action observation

Motor imagery and action observation are known to have an important role in motor rehabilitation. In fact, multiple studies demonstrate that both motor imagery and action observation lead to activation of the same brain areas of motor execution. Consequently, learning can happen even through the above mentioned actions. The reason why motor imagery and action observation will be studied in the present thesis is the possibility to recognize the type of action, based on classification of Electroencephalographic (EEG) signals. An interesting implementation is related to interfaces between computers and humans, called brain computer interfaces (BCIs), which could have a main role in helping disabled people. Therefore, a classification method able to distinguish both action observation and motor imagery is needed. A widely used approach is the application of machine learning (ML) algorithms. This approach, in fact, has already been used in literature also on EEG signals, but the obtained results were not satisfactory in terms of classification accuracy. In fact, from one hand recognizing the process results to be a difficult task; on the other hand, there are limitations related to difficulties in manual extraction of most relevant features for EEG. Because of that, it was decided to use a Deep Learning (DL) algorithm and to evaluate its accuracy performances; in fact, DL represents a good approach to solve at least the second limitation, because they automatically extract the most relevant features useful for classification. The present work aims to develop a binary classification model, between a rest phase (label equal to 0) and a task phase (label equal to 1), based on a DL neural network with EEG data. In particular, the focus is set on evaluating which type of process (MI or AO) would results to be easier to distinguish from rest phase. The considered neural network is EEGNet, a convolutional neural network (CNN) developed specifically to classify EEG task. Classification has been applied on datasets created starting from an experimental protocol approved by the Internal Ethical Committee of the Istituto Clinico Humanitas (Rozzano, Italy). EEG traces from 46 subjects are registered from that protocol. All subjects did experiments on both Action observation and motor imagery of the upper limb (right) movement. In order to apply the binary classification, two different models have been developed, one for each task (MI or AO). Moreover, during EEG segmentation, two different windows has been segmented for task, in order to evaluate whether differences in accuracy could be detected. Dataset then has been modified, by removing a priori data belonging to subjects who performed badly during acquisition protocol. Final structure of the models used has been optimized through an algorithm able to define the best set of hyperparameters. Finally, features extracted has been analyzed in order to validate results. The best performances with respect to accuracy and F1 score has been obtained using the model for MI task, and it achieved 0.651 of test accuracy and F1 score . However, also model for AO classification reached accuracy value and F1 score respectively of 0.638 and 0.674.

L’immaginazione di movimento (motor imagery) e l’osservazione di un movimento (action observation) eseguito, sono due azioni che hanno un grande impatto nella riabilitazione motoria. Infatti, studi dimostrano come immaginare di compiere un movimento oppure osservare l’esecuzione di uno specifico movimento comporti l’attivazione delle stesse aree di corteccia motoria che si attiverebbero nel caso di esecuzione del movimento in questione. Di conseguenza, l’apprendimento può avvenire anche tramite queste azioni. Il motivo per cui verranno studiati, in questa tesi, immaginazione e osservazione di un movimento è la possibilità di riconoscere il tipo di azione classificando i segnali EEG. Infatti, questa possibilità apre scenari interessanti in merito a interfacce, chiamate Brain Computer Interfaces (BCIs), le quali possono essere di aiuto per soggetti con disabilità motorie. Di conseguenza, è sorta la necessità di un metodo di classificazione che fosse in grado di discriminare sia motor imagery che action observation. Uno degli approcci più validi in contesti come quello sopra descritto, è l’applicazione di tecniche di machine learning (ML). Tale approccio, infatti, è già stato applicato in letteratura sulle EEG, ma, sono sempre sorte complicazioni in termini di prestazioni. Infatti, da un lato è difficile riconoscere il tipo di azione stessa, e quindi la classificazione, mentre dall’altro sono presenti limitazioni dovute alla difficoltà di estrazione delle caratteristiche più importanti dal segnale EEG. Ciò ha portato all’idea di usare modelli deep learning (DL) che possono estrarre in automatico le caratteristiche più importanti, superando quindi una limitazione, e andando a valutare i risultati in termini di prestazioni. Viste le difficoltà generali, l’obiettivo della tesi è quello di sviluppare un metodo di classificazione binaria, tra fase di task (classe 1) e fase di riposo (classe 0), basato su una rete neurale di DL a partire da dati EEG. In particolare, ci si è concentrati sul valutare quale tipologia di azione (MI or AO) fosse più facilmente distinguibile dalla fase di riposo. La rete neurale di riferimento usata per la classificazione è EEGNet, una rete neurale di convoluzione (CNN) progettata specificamente per classificare segnali EEG. La classificazione è stata svolta su un dataset creato a partire da un protocollo approvato dalla Commissione Etica dell’Istituto Clinico Humanitas (Rozzano, Italia). Tale dataset fornisce tracce EEG di 46 soggetti che hanno eseguito sia action observation che motor imagery di movimenti di arto superiore destro. Per eseguire la classificazione binaria, sono stati costruiti due modelli diversi, uno per discriminare tra MI e fase di riposo, e un altro per distinguere tra AO e fase di riposo. Inoltre, nel momento della segmentazione delle EEG, sono state considerate finestre diverse nella fase di task per valutare come variasse l’accuratezza della classificazione. Il dataset è poi stato modificato, andando a rimuovere a priori alcuni soggetti che avessero performato male durante l’esecuzione del protocollo. La struttura di finale di entrambi i modelli usati per la classificazione è stata ottimizzata attraverso un algoritmo in grado di determinare la migliore configurazione dei relativi iperparametri. Infine, è stata eseguita un’analisi sulle caratteristiche estratte in automatico da EEGNet, al fine di validare i risultati. Le migliori prestazioni in termini di accuratezza e F1 score si attestano entrambi sul valore di 0.651 e corrispondono al modello ottimizzato per classificare MI. In ogni caso, il modello ottimizzato per la classificazione AO raggiunge performance leggermente inferiori, con accuratezza e F1 score che raggiungono valori rispettivamente di 0.638 e 0.674