Validation of a CNN architecture for error potential classification : a novel, ARX-based approach for data augmentation

The Error Potential (ErrP) is an event-related potential detectable in EEG recordings when a subject perceives that an error has been committed either by himself or by a device during the interaction with it. This signal can be used in BCI applications to provide a validation of the system output: if the BCI selected command, sent to the user as a feedback, generates an Errp the decision is discarded and the trial repeated, otherwise, the action is executed. The inclusion of an error-correction system in a BCI device could improve its efficiency and reliability. The aim of this work is to optimize the performances of a Convolutional Neural Network (CNN) already present in literature for ErrP classification. The first focusing area is to find a balancing method to address data imbalance. In event-related potential datasets, there is a scarcity of instances that include the event: the classification is affected by the imbalance and it is biased toward the majority class, therefore the non-events. A novel, ARX-based data augmentation method has been introduced: new signals are generated by fitting an ARX model on each ErrP epoch and then using it to generate new data though a distortion of the exogenous input that drives the ARX model. Different techniques to compute the distortions have been evaluated, thus different new ARX-based methods have been defined. Those methods are compared with traditional balancing methods present in literature: oversampling, undersampling and class weights. The second focusing area of the project is to implement a search for the optimal hyperparameters configuration. Hyperparameters are parameters of the network defined a-priori, thus non learnt during the training process. A grid search approach in four cycles have been implemented to find the configuration of hyperparameters that optimizes the network performances. The results obtained validate that the ARX-based methods, showing that they achieve higher classification results respect to the traditional methods. A higher capability of generalization, a reduced number of False Positives and a higher Utility gain are obtained with this new data augmentation method. The hyperparameters search shows that better performances can be obtained by finding the configuration that optimally fits the dataset and the classification strategy. However, the search implemented needs optimization especially in terms of time requirements.

Il potenziale di errore (ErrP) é un potenziale evocato rilevabile nelle registrazioni EEG quando l’utente avverte che é stato commesso un errore, sia da sé stesso sia da un dispositivo con cui sta interagendo. Questo segnale può essere utilizzato in applicazioni BCI per fornire una convalida dell'output del sistema: se il comando selezionato dalla BCI, mostrato all'utente come feedback, genera un Errp la decisione viene ignorata e il processo viene ripetuto altrimenti l'azione viene eseguita. L'inclusione di un sistema per la correzione di errori in un dispositivo BCI può migliorare la sua efficienza e affidabilità. Lo scopo di questo progetto é stato quello di ottimizzare le prestazioni di una Rete Neurale Convoluzionale (CNN), già presente in letteratura, per la classificazione del potenziale di errore. Il lavoro si é concentrato principalmente sulla ricerca del metodo migliore per bilanciare i dati. La presenza di epoche contenti il potenziale evocato nei dataset é solitamente limitata: lo sbilanciamento tra epoche contenenti l’evento e quelle che non lo includono ne rende difficile l’individuazione, influenzando le prestazioni del classificatore. È stato introdotto un nuovo metodo di data augmentation basato su un modello ARX: un modello ARX viene identificato per ogni epoca contenente l’ErrP e viene poi utilizzato per generare nuovi dati attraverso la distorsione dell'ingresso esogeno del modello. Sono state valutate diverse tecniche per operare le distorsioni e, di conseguenza, diversi nuovi metodi basati su ARX sono stati definiti. I metodi ARX sono stati confrontati con le tecniche di bilanciamento tradizionali presenti in letteratura: oversampling, undersampling e class weights. La seconda area di interesse del progetto è l'implementazione di una ricerca per la configurazione ottimale degli iperparametri. Gli iperparametri sono parametri della rete definiti a-priori, quindi, non appresi durante la fase di training. Un approccio grid search su quattro cicli è stato implementato per trovare la configurazione di iperparametri ottimale per le prestazioni della rete. I risultati ottenuti hanno validato i metodi ARX, mostrando che essi raggiungono prestazioni più alte nella classificazione di ErrP rispetto ai metodi tradizionali. Una maggiore capacità di generalizzazione, un numero inferiore di Falsi Positivi e una maggiore Utility gain sono stati ottenuti. La ricerca degli iperparametri ha mostrato che si possono ottenere migliori prestazioni trovando la configurazione che si adatta in modo ottimale al set di dati e alla strategia di classificazione. Tuttavia, la ricerca implementata necessita di essere ottimizzata soprattutto in termini di tempo computazionale