Multisensory brain-computer interface for communication in amyotrophic lateral sclerosis (ALS)

Individuals with a neurodegenerative disease, such as people with amyotrophic lateral sclerosis (ALS), may use a Brain-Computer Interface (BCI) as an augmentative and alternative communication (AAC) device. Most non-invasive BCIs provide direct communication between the brain and an external device through the use of electroencephalography (EEG), bypassing the requirements for muscular control. BCI paradigms target specific components of the EEG signal, one of which is a type of event-related potential (ERP), the P300 potential. The P300 is a positive peak in the EEG trace 300 ms after the subject detects a rare target stimulus. Also referred to as “oddball” response, the P300 is elicited using an infrequent target stimulus presented randomly amidst frequent non-target stimuli. Early P300-based BCI systems were primarily based on stimuli that were presented visually, but the reduced attention, cognitive changes, and failure of sensory transduction have been identified as factors limiting P300 generation and amplitude among individuals with ALS, hindering them from using this kind of technology. The primary hypotheses of the present study are that cognitive and sensory impairments act to reduce task salience and that the use of a multisensory P300 paradigm can be used to overcome these deficits and provide BCI classification accuracy superior to those of unisensory tasks. Therefore, this research’s goal is pursued by testing and verifying these hypotheses by assessing executive functioning and cognitive and sensory limitations faced by patients with a novel eye-gaze/EEG hybrid screen to target the neurocognitive prerequisites for the use of a P300-based BCI device, and then testing the aforementioned device adopting the multisensory paradigm. A BCI application with 6 selectable items was developed by randomly presenting semantically congruent visual, auditory, and tactile stimuli in temporal and spatial concordance. For this purpose, experiments were run on three healthy subjects to test the developed multisensory application and compared it with the unimodal counterparts. Data were collected and classified offline, obtaining an average multisensory P300-BCI accuracy of 97.2%, which was higher than the accuracies of unisensory P300 tasks. These findings suggest the proposed BCI paradigm is promising for achieving higher classification accuracy than with unisensory stimulation in ALS patients.

Gli individui con una malattia neurodegenerativa, come la sclerosi laterale amiotrofica (SLA), possono fare affidamento sull'interfaccia Cervello-Computer (Brain-Computer Interfaces, BCI) come dispositivo di comunicazione aumentativa e alternativa (CAA). La maggior parte delle BCI non invasive può fornire una comunicazione diretta tra il cervello e un dispositivo esterno attraverso l'uso dell'elettroencefalografia (EEG), aggirando i requisiti per il un controllo muscolare. I paradigmi BCI prendono di mira componenti specifiche del segnale EEG, uno dei quali è un potenziale evento-correlato (Event-Related Potential, ERP), il potenziale P300. Il P300 si verifica come picco positivo nella traccia EEG 300 ms che il soggetto individua uno stimolo bersaglio raro. Anche definito come risposta “oddball”, il P300 è generato utilizzando uno stimolo bersaglio presentato casualmente con frequenza inferiore tra stimoli non bersaglio di frequenza maggiore. I primi sistemi BCI facenti uso del segnale P300 erano principalmente basati su stimoli che venivano presentati visivamente, ma il l’attenzione ridotta, le modificazioni a livello cognitivo, e il fallimento della trasduzione sensoriale, sono stati identificati come fattori che limitano la generazione e l'ampiezza del P300 tra gli individui con SLA, ostacolandoli nell’utilizzo della suddetta tecnologia. Infatti, le ipotesi principali del presente studio sono che i disturbi cognitivi e delle percezioni sensoriali agiscano per ridurre il segnale P300 e che l'uso di un paradigma multisensoriale possa essere utilizzato per superare questi deficit e fornire un'accuratezza nella classificazione superiore a quella dei paradigmi unisensoriali. Pertanto, l'obiettivo di questa ricerca viene perseguito testando e verificando queste ipotesi valutando il funzionamento esecutivo e cognitivo e le limitazioni sensoriali dei soggetti con un controllo ibrido sguardo/EEG per verificare i prerequisiti neurocognitivi per l’utilizzo di un dispositivo BCI basato su P300, e successivamente testare il suddetto dispositivo adottando stimoli multisensoriali. Un'applicazione BCI con 6 elementi selezionabili è stata sviluppata affinché presentasse in modo casuale stimoli visivi, uditivi e tattili semanticamente congruenti e in concordanza temporale e spaziale. A tal fine, sono stati condotti esperimenti su tre soggetti sani per testare l'applicazione multisensoriale sviluppata e confrontarla con le controparti unimodali. I dati sono stati raccolti e classificati offline, ottenendo con la stimolazione multisensoriale un’accuratezza media del 97.2%, superiore rispetto a quella ottenuta negli altri paradigmi unisensoriali. Questi risultati suggeriscono che il paradigma BCI proposto è promettente per ottenere una maggiore accuratezza di classificazione rispetto alla stimolazione unisensoriale nei pazienti con SLA.