Custom attention and data division strategies in transformer architectures for ECG beat classification

This thesis presents a method for classifying electrocardiogram (ECG) beats into three categories: Normal, Supraventricular, and Ventricular. It employs transformer architecture with a custom attention mechanism, exploring various strategies for segmenting data into training and validation sets to assess their impact on performance. Additionally, the relevance of synthetic data used in model effectiveness is analyzed. The methodology involves preprocessing ECG signals through filtering, resampling, normalization, and segmentation. The processed signals are then classified using a transformer-based model featuring a custom attention layer. Two approaches are developed: a cascade method with two binary classifications in a row and a multiclass classification method. Synthetic data, generated to simulate supraventricular and ventricular arrhythmias, are created through a generator. The use of different training and validation datasets is explored to evaluate the best data division strategy. Performance is measured across four datasets, including the MIT-BIH Arrhythmia and Supraventricular Arrhythmia databases, the European ST database, and the Long-Term ST Database. Results indicate that the cascade model, especially when trained with an unbalanced dataset and incorporating R-R interval normalization, performs effectively. The model manages to reach a macro average F1 score of 0.92 and a macro average Precision score of 0.90 on the Long-Term ST Database. The model shows broad applicability across various datasets, suggesting its potential utility in clinical settings. This study also underscores the importance of strategic dataset selection and the influence of dataset imbalance on classification accuracy.

Questa tesi presenta un metodo per classificare i battiti dell'elettrocardiogramma (ECG) in tre categorie: Normale, Sopraventricolare e Ventricolare. Utilizza un'architettura transformer con un meccanismo di attenzione personalizzato, esplorando varie strategie di divisione dei dati in dataset di training e validation per valutarne l'impatto sulle prestazioni. Inoltre, viene analizzata l'efficacia di dati sintetici sulle predizioni del modello. La metodologia coinvolge l’elaborazione dei segnali ECG attraverso filtraggio, ricampionamento, normalizzazione e segmentazione. I segnali elaborati vengono poi classificati utilizzando un modello basato su transformer caratterizzato da un meccanismo di attenzione personalizzato. Vengono sviluppati due approcci: un metodo a cascata con due classificazioni binarie e un metodo di classificazione multiclasse. I dati sintetici, generati per simulare aritmie sopraventricolari e ventricolari, vengono creati attraverso un generatore. L'uso di diversi dataset di training e validation è esplorato per valutare la migliore strategia di divisione dei dati. Le prestazioni sono su quattro datasets il MIT-BIH Arrhythmia, il Supraventricular Arrhythmia databases, l’European ST database e il Long-Term ST Database. I risultati indicano che il modello a cascata, specialmente quando addestrato con un insieme di dati sbilanciato e incorporando la normalizzazione dell'intervallo R-R, si comporta efficacemente. Il modello raggiunge una F1 score di 0.92 e una precisione di 0.90 sul Long-Term ST database. Il modello mostra un'ampia applicabilità sui vari datasets, suggerendo il suo potenziale utilizzo in contesti clinici. Questo studio sottolinea anche l'importanza della selezione strategica dei dati e l'influenza dello squilibrio dei dati sull'accuratezza della classificazione.