This thesis investigates two largely untested assumptions underlying the near-universal practice of windowing in EEG-based emotion recognition: sample independence and label stationarity. Using three geometric distance metrics (Riemannian, Dynamic Time Warping, Wasserstein) across three datasets (FACED, DREAMER, AFFEC), it is shown that EEG windows are far more recognizable by \emph{subject} and \emph{trial} identity than by affective label, an effect that is strongest and most consistent under the Riemannian metric but also detectable with the other metrics. A complementary analysis shows that the trial-level label carries substantially more information about the EEG signal than the same label propagated to individual windows: the Pearson correlation between spectral band power and the affective label falls by roughly 50% (FACED) and 46% (DREAMER) from trial to window level, in every band tested, with an even larger drop in ANOVA-based effect size. This information loss, however, does not translate into a measurable classification cost: once trial-level and window-level classifiers (linear SVM on Differential Entropy features, subject-blocked cross-validation) are compared on the same final unit of prediction, windowing does not clearly reduce accuracy in either dataset, and neither dataset's trial-level margin over chance exceeds its own fold-to-fold variability. AFFEC, whose trials are too short to window, serves as a natural control: it shows neither trial-level pseudoreplication nor above-chance classification, isolating a further, representational limitation independent of windowing. Together these results argue against treating windowing-induced pseudoreplication as a uniform confound, and instead for reporting evaluation protocols explicitly (subject-level splits, the unit of label assignment, and the granularity at which accuracy is measured) in future EEG emotion-recognition work.
Questa tesi indaga due assunzioni largamente non verificate alla base della pratica pressoché universale del windowing nel riconoscimento delle emozioni da segnali EEG: l'indipendenza dei campioni e la stazionarietà dell'etichetta. Utilizzando tre metriche di distanza geometrica (Riemanniana, Dynamic Time Warping, Wasserstein) su tre dataset (FACED, DREAMER, AFFEC), mostriamo che le finestre EEG sono molto più riconoscibili in base all'identità del soggetto e della prova (trial) che in base all'etichetta affettiva, un effetto che risulta più forte e più consistente con la metrica Riemanniana, ma rilevabile anche con le altre metriche. Un'analisi complementare mostra che l'etichetta a livello di trial è molto più informativa sul segnale EEG rispetto alla stessa etichetta propagata alle singole finestre: la correlazione di Pearson tra potenza spettrale di banda ed etichetta affettiva cala di circa il 50% (FACED) e il 46% (DREAMER) passando dal livello di trial a quello di finestra, in ogni banda testata, con un calo ancora maggiore per l'effect size basato su ANOVA. Questa perdita di informazione, tuttavia, non si traduce in un costo misurabile in fase di classificazione: una volta confrontati sulla stessa unità finale di predizione, i classificatori a livello di trial e a livello di finestra (SVM lineare su feature di Entropia Differenziale, validazione incrociata a blocchi per soggetto) non mostrano un chiaro calo di accuratezza dovuto al windowing in nessuno dei due dataset, e in entrambi il margine di accuratezza a livello di trial rispetto al caso non supera la propria variabilità tra fold. AFFEC, le cui prove sono troppo brevi per essere sottoposte a windowing, funge da controllo naturale: non mostra né pseudoreplicazione a livello di trial né classificazione sopra il livello di caso, isolando così un ulteriore limite rappresentazionale indipendente dal windowing. Nel complesso, questi risultati sconsigliano di trattare la pseudoreplicazione indotta dal windowing come un confondimento uniforme, e suggeriscono invece di riportare esplicitamente i protocolli di valutazione (suddivisioni a livello di soggetto, unità a cui viene assegnata l'etichetta, e granularità a cui l'accuratezza viene misurata) nei futuri lavori sul riconoscimento delle emozioni da EEG.
The impact of windowing on EEG-based emotion recognition: pseudoreplication and label noise
Missana, Martina
2025/2026
Abstract
This thesis investigates two largely untested assumptions underlying the near-universal practice of windowing in EEG-based emotion recognition: sample independence and label stationarity. Using three geometric distance metrics (Riemannian, Dynamic Time Warping, Wasserstein) across three datasets (FACED, DREAMER, AFFEC), it is shown that EEG windows are far more recognizable by \emph{subject} and \emph{trial} identity than by affective label, an effect that is strongest and most consistent under the Riemannian metric but also detectable with the other metrics. A complementary analysis shows that the trial-level label carries substantially more information about the EEG signal than the same label propagated to individual windows: the Pearson correlation between spectral band power and the affective label falls by roughly 50% (FACED) and 46% (DREAMER) from trial to window level, in every band tested, with an even larger drop in ANOVA-based effect size. This information loss, however, does not translate into a measurable classification cost: once trial-level and window-level classifiers (linear SVM on Differential Entropy features, subject-blocked cross-validation) are compared on the same final unit of prediction, windowing does not clearly reduce accuracy in either dataset, and neither dataset's trial-level margin over chance exceeds its own fold-to-fold variability. AFFEC, whose trials are too short to window, serves as a natural control: it shows neither trial-level pseudoreplication nor above-chance classification, isolating a further, representational limitation independent of windowing. Together these results argue against treating windowing-induced pseudoreplication as a uniform confound, and instead for reporting evaluation protocols explicitly (subject-level splits, the unit of label assignment, and the granularity at which accuracy is measured) in future EEG emotion-recognition work.| File | Dimensione | Formato | |
|---|---|---|---|
|
2026_10_Missana_Tesi.pdf
accessibile in internet solo dagli utenti autorizzati
Descrizione: Tesi
Dimensione
8.76 MB
Formato
Adobe PDF
|
8.76 MB | Adobe PDF | Visualizza/Apri |
|
2026_10_Missana_Executive_Summary.pdf
accessibile in internet solo dagli utenti autorizzati
Descrizione: Executive Summary
Dimensione
3.75 MB
Formato
Adobe PDF
|
3.75 MB | Adobe PDF | Visualizza/Apri |
I documenti in POLITesi sono protetti da copyright e tutti i diritti sono riservati, salvo diversa indicazione.
https://hdl.handle.net/10589/266140