Enhancing EEG analysis with AI: developing a tailored foundational model for EEG signal classification

Accurate and efficient electroencephalography (EEG) analysis is essential for detecting seizures and artifacts in long-term monitoring, with applications spanning hospital diagnostics to wearable health devices. Robust EEG analytics have the potential to greatly improve patient care. However, traditional deep learning models, especially Transformer-based architectures, are hindered by their quadratic time and memory complexity, making them less suitable for resource-constrained environments. To address these challenges, we present FEMBA (Foundational EEG Mamba + Bidirectional Architecture), a novel self-supervised framework that establishes new efficiency benchmarks for EEG analysis through bidirectional state-space modeling. Unlike Transformer-based models, which incur quadratic time and memory complexity, FEMBA scales linearly with sequence length, enabling more scalable and efficient processing of extended EEG recordings. Trained on over 21,000 hours of unlabeled EEG and fine-tuned on three downstream tasks, FEMBA achieves competitive performance in comparison with transformer models, with significantly lower computational cost. Specifically, it reaches 81.82% balanced accuracy (0.8921 AUROC) on TUAB and 0.949 AUROC on TUAR, while a tiny 7.8M-parameter variant demonstrates viability for resource-constrained devices. These results pave the way for scalable, general-purpose EEG analytics in both clinical and highlight FEMBA as a promising candidate for wearable applications

Un'accurata ed efficiente analisi dell'elettroencefalografia (EEG) è essenziale per la rilevazione di crisi epilettiche e artefatti nel monitoraggio a lungo termine, con applicazioni che spaziano dalla diagnostica ospedaliera ai dispositivi indossabili per la salute. Robuste analisi EEG hanno il potenziale di migliorare significativamente l'assistenza ai pazienti. Tuttavia, i modelli deep learning tradizionali, in particolare le architetture basate sui Transformer, sono ostacolati dalla loro complessità quadratica in termini di tempo e memoria, rendendoli meno adatti a contesti con risorse limitate.Per affrontare queste sfide, presentiamo FEMBA (Foundational EEG Mamba + Bidirectional Architecture), un innovativo framework self-supervised che stabilisce nuovi standard di efficienza per l'analisi dell'EEG attraverso un modello di stato-spazio bidirezionale. A differenza dei modelli basati sui Transformer, che presentano una complessità quadratica, FEMBA scala linearmente con la lunghezza della sequenza, consentendo un'elaborazione più scalabile ed efficiente di registrazioni EEG estese.Addestrato su oltre 21.000 ore di EEG non etichettato e successivamente raffinato su tre task specifici, FEMBA raggiunge prestazioni competitive rispetto ai modelli Transformer, con un costo computazionale significativamente inferiore. In particolare, ottiene un'accuratezza bilanciata dell'81,82% (0,8921 AUROC) su TUAB e 0,949 AUROC su TUAR, mentre una variante Tiny con 7,8M di parametri dimostra la sua fattibilità per dispositivi a risorse limitate.Questi risultati aprono la strada ad analisi EEG scalabili e di uso generale sia in ambito clinico che per applicazioni indossabili, evidenziando FEMBA come un candidato davvero promettente.