Leveraging deep learning techniques to improve P300-based brain computer interfaces

brain-computer interface (BCI) has become a promising technology to carry out training sessions with Autism Spectrum Disorder (ASD) subjects to overcome their joint-attention deficit. The functioning is based on the successful classification of the P300 waveform from EEG recordings, an event-related potential elicited by rare stimuli in visual-oddball paradigms, with a latency of 300 ms after the onset of a stimulus. In this thesis work, we used deep learning techniques, namely convolutional neural networks (CNNs), to improve P300-based BCIs. We utilized a state-of-the-art classifier, named BCIAUT, which had proven success on a P300 data set acquired on ASD subjects, called BCIAUT-P300. We also proposed a novel BCI classifier, called P3CNET, that improved P300 classification accuracy performances shown by BCIAUT. For the pre-processing of the data, we pursued a grid-search approach with combinations of different start time and window length parameters to explore the optimal signal trimming interval that would lead to high average and low standard deviation of classification accuracies. Then, we looked for the minimum calibration size, to fulfil a balance between higher accuracy and shorter calibration time, so that the calibration phase of BCI can be eliminated from further training sessions. To improve the explainability of deep learning architectures, cross-correlation analysis and Grad-CAM methodology were employed to explore the significant input EEG regions that are influential for a correct P300 classification. We observed the consistent attention of a classifier on these regions with saliency maps. Finally, with Grad-CAM methodology, we identified the most significant electrode channels. Their positions on the scalp corresponded to visual processing areas (parietal and occipital lobes). The elimination of less informative electrode channels from the data set were evaluated, but the accuracy performance did not improve. All the methodologies, explorations and conclusions were performed and validated on two different CNN classifiers, demonstrating the generalizability of the obtained results.

Le interfacce cervello-computer, Brain-Computer Interface (BCI), sono diventate una tecnologia promettente per svolgere sessioni di allenamento con soggetti con disturbo dello spettro autistico (ASD), per cercare di migliorare il loro deficit di attenzione congiunta. Il funzionamento si basa sulla classificazione della forma d'onda P300, un potenziale evocato suscitato da rari stimoli in paradigmi visivi, con una latenza di circa 300 ms dall'inizio dello stimolo. In questo lavoro di tesi, abbiamo usato un classificatore all'avanguardia, denominato BCIAUT, che si era dimostrato il migliore su un dataset acquisito su soggetti autistici, denominato BCIAUT-P300. Abbiamo inoltre proposto un nuovo classificatore per BCI, chiamato P3CNET, che migliora le prestazioni di accuratezza della classificazione dell'onda P300. Per la pre-elaborazione dei dati, abbiamo perseguito un approccio grid-search per esplorare l'intervallo ottimale con cui selezionare la regione di interesse del segnale EEG. Lo scopo è massimizzare l'accuratezza media di classificazione, minimizzandone la variabilità. Abbiamo testato combinazioni di due diversi parametri: il tempo di inizio e la lunghezza della finestra selezionata. Abbiamo anche studiato quale fosse il numero minimo di sessioni di addestramento necessario ad ottenere una buona accuratezza. Infatti, al momento viene richiesto all'utilizzatore del sistema BCI di sottoporsi a una fase di calibrazione ad ogni sessione di allenamento, aumentandone quindi la durata. Sono state impiegate l'analisi della cross-correlazione e la metodologia Grad-CAM per esplorare le regioni del segnale EEG maggiormente significative ai fini di una corretta classificazione dell'onda P300. Abbiamo osservato una presenza costante di porzioni di segnale di elevata importanza tramite mappe di salienza. Infine, con la metodologia Grad-CAM, abbiamo verificato quali fossero gli elettrodi più significativi. Le loro posizioni sullo scalpo corrispondevano alle aree di elaborazione visiva (lobi parietali e occipitali). È stata valutata l'eliminazione dei canali degli elettrodi meno informativi, ma le prestazioni di accuratezza non sono migliorate. Tutte le metodologie, esplorazioni e conclusioni sono state eseguite e validate tramite due differenti classificatori basati su reti neurali convoluzionali, dimostrando la generalizzabilità dei risultati ottenuti.