A portable EEG-based brain-computer interface for imagined speech detection: towards an assistive system for restoring communication

Pathologies such as strokes and amyotrophic lateral sclerosis can lead to the loss of verbal communication while leaving cognitive abilities intact. Brain-Computer Interfaces (BCIs) based on imagined speech (IS) paradigms offer a potential solution to restore verbal communication, allowing for a more natural interaction. These systems aim to decode what a person imagines saying without any corresponding body movement. The primary challenge with IS lies in the absence of a measurable motion to use as ground truth independent from brain signals, making the design of experimental paradigms critical. Previous studies have approached this challenge with varying success, using both invasive and non-invasive techniques to decode imagined words within a limited vocabulary. The most diffused set-up is 64-channel clinical-grade EEG; in this study we investigate IS using a portable EEG device featuring only 8 channels. We focused on detecting whether a subject is imagining saying a word or not, framing it as a binary classification task. Two paradigms were compared to analyse how different instructions influence the subject’s imagination process and to address the challenge of the lack of ground truth. We exploited the gained insight to design offline experiments achieving an average prediction accuracy of 65.3% over six subjects, with peaks of 74% and 86.6% for two of them. Finally, we transferred the model to online settings providing neurofeedback to the users. In two out of three subjects, online feedback accuracy surpassed chance level, reaching 77.8% and 88.9% during the final stages of the session, demonstrating a learning process synergically involving both the user and the BCI system.

Patologie come ictus e sclerosi laterale amiotrofica possono provocare la perdita della comunicazione verbale pur lasciando intatte le capacità cognitive. Le Interfacce Cervello-Computer (BCI) basate su paradigmi di linguaggio immaginato offrono una potenziale soluzione per assistere i pazienti nella comunicazione verbale. Questi sistemi mirano a decodificare ciò che una persona immagina di dire senza che compia alcun movimento. La sfida principale nell'analisi del linguaggio immaginato risiede nell'assenza di un movimento misurabile da utilizzare come segnale di riferimento indipendente. Per questo motivo è di fondamentale importanza il design del protocollo sperimentale. Diversi gradi di successo sono stati raggiunti da studi precedenti usando varie tecniche, invasive e non, per decodificare le parole immaginate all'interno di un vocabolario ristretto. La configurazione più utilizzata è l'EEG clinico a 64 canali; il nostro studio indaga il linguaggio immaginato utilizzando un dispositivo EEG portatile con soli 8 canali. L’obiettivo è rilevare il processo di immaginazione rispetto ad uno stato di riposo: una classificazione binaria tra segnale neurale che corrisponda all'immaginazione di una parola oppure no. Due diversi paradigmi sono stati confrontati per analizzare come la modalità usata per dare lo stimolo ai soggetti influenza il processo di immaginazione. Abbiamo applicato i risultati di quest'analisi nel design di esperimenti offline dove su sei soggetti si è raggiunta un’accuratezza media di predizione di 65.3%, con picchi di 74% e 86.6%. Infine, abbiamo impiegato il modello implementato per esperimenti online durante cui è stato fornito un feedback all'utilizzatore riguardo le predizioni del modello. Per due soggetti su tre, l’accuratezza del feedback online ha dato risultati significativi, raggiungendo il 77.8% e l'88.9% durante le fasi finali della sessione, grazie ad un processo di apprendimento bilaterale sia da parte dell'utente che del sistema.