Development of a prediction model for short-term atrial fibrillation recurrence after electrical cardioversion

Atrial fibrillation represents an abnormal heart rhythm, which is characterized by a succession of rapid and irregular beats of the atria. Initially it can be characterized by occasional events, with short abnormal beat periods, but over time these events can increase the frequency and duration. Because of this difference in the number and characteristics of fibrillation episodes, affected patients can be classified into three different groups; atrial fibrillation is clinically classified as paroxysmal, when events occur and settle in a time tending to less than a week, persistent, when the episodes do not interrupt spontaneously but only as a result of external interventions, permanent, when the interventions therapies to stop this cardiac anomaly are ineffective. Although this standard classification is widely recognized, it does not involve in its criterion of distinction the variability of electrical and structural changes determined by atrial fibrillation over time. However, it is not only difficult to classify the disease because of the very complex mechanism on which it evolves, but it is also very difficult to diagnose due to the frequent absence of symptoms in the patients affected. The number of patients affected by this disease is growing in all developed countries and it’s increasingly associated with morbidity and mortality. For this reason, the prediction of the progression of atrial fibrillation has attracted great attention from clinical research, in order to improve diagnostic and therapeutic output at the population level. In this sense, many clinical and demographic variables have been deeply studied in order to identify possible risk factors from the value assumed by the latter. For the diagnosis and for the study of atrial fibrillation both invasive and non-invasive techniques are proposed in the state of the art. Our attention, and that of our study, is directed towards the latter, which identifies the electrocardiograms as the main source of information for the diagnosis and the study of this complex disease. Electrocardiograms change significantly depending on the type of patient we are dealing with (paroxysmal, persistent or permanent). For paroxysmal patients, in fact, since the events are very rare, Holter monitors are used to verify these events and, for the same reason, the most studied parameter for a control and a prediction of a spontaneous reassessment of the physiological situation is represented by P- wave. The length of the P-wave, its frequency and the indices that concern it are the main source of alteration of the electrophysiological situation and of the structural modification of the atrium, associated with clinical parameters identified as a risk factor. These patients, if deemed necessary, can undergo therapeutic interventions. The first of these is represented by pharmacological cardioversion where antiarrhythmic drugs (AAD) are superimposed to patients and, in some cases, by electrical cardioversion or ablation. Patients who present a more severe version of the disease, with less sporadic and long events, are identified as persistent or permanent. As mentioned above, for patients who have a permanent version of the disease certain external interventions may be inefficient, whereas a different situation is found for patients with persistent atrial fibrillation. Persistent patients present an electrocardiogram characterized mainly by f-waves, characteristic and typical waves of fibrillation that replace the classical physiological P-wave. For the study of these cases, in addition to the classic pharmacological therapy, two ways can be undertaken. The first is to subject these patients to electrical cardioversion, then returning the latter to the classical sinus rhythm with consequent reappearance of the P-wave, in order to study the characteristics and indices of this wave. Subsequently, due to the failure of the previous therapies, these patients can undergo the ablation procedure, which involves the elimination of a part of tissue with risks related to the surgical intervention. In this way, the comparison of the P-wave indices before and after the operation determines the possibility of recurrence of the disease, in order to predict the success of the treatment in the long term. The clinical evidence and success of these treatments has high success rates but are not based on certainty. Moreover, the risks associated with the ablation intervention (especially the surgical one compared to the one with the use of transcatheter) lead the clinical research to study in more depth the parameters extracted from the electrocardiogram (non-invasive analysis), in such a way to use these last ones for the generation of a predictive model to restore physiological conditions in the short and medium-long term. At this point the second type of path to which patients suffering from persistent atrial fibrillation are subdivided is identified. Before carrying out electrical cardioversion procedure, the electrocardiogram of these patients is acquired during episodes of atrial fibrillation (the duration of the electrocardiogram is basically variable, but usually of about one minute), letting us to undertake a process of analysis of the signal in which filtering and enhancing processes generate the track in which we are interested. From the track obtained are then extracted different types of ECG parameters, called complex parameters. By means of these parameters, the goal is to make a prediction on the return to a stable situation, which would determine the success of cardioversion operation and the absence of atrial fibrillation episodes. To perform the prediction act, it is necessary to generate a parametrized classification model, which, each new observation acquired, determines a prediction on the success that therapy would have on the patient from whom the above observations (parameter value) come from. Our project begins exactly from this phase. We have ECG signals from patients with persistent atrial fibrillation acquired at the Maastricht University Medical Center (MUMIC). The electrocardiograms of these patients were recorded with a Body Surface Potential Mapping technique (BSPM) in which 184 electrodes are placed on the upper body, covering both the anterior and posterior areas. These electrodes are all unipolar and each of them determines an ECG signal of a certain area of the body. In this way, analyzes of the propagation of chaotic waves of atrial fibrillation are studied in greater detail, with the aim of extracting information that the classic 12-lead acquisition would not be able to do. This type of acquisition with subsequent analysis of the prediction of the recurrence of atrial fibrillation is hardly addressed in the literature, while prediction models based on parameters acquired from the classic 12-lead recording are numerous, but they differ a lot in terms of results. After verifying the large number of studies on the prediction of atrial fibrillation, we found an obvious lack of evidence given by the low overlap of the aforementioned. The studies differ in the importance of certain parameters with respect to others in terms of prediction, in the way in which they are linked to clinical parameters, which should explain the different trend of the predictor parameters themselves at the physiological and medical level. Moreover, in many studies, the parameters are extracted directly and only from the leads of the classic 12-lead recording that have been successful in the previous literature. With our project, however, we intend to carry out a more comprehensive and general analysis, which does not deprive us of the possibility of carrying out a thorough investigation given the number of data available for each patient (for each subject, in fact, we have 184 signals available, each of which identifies and defines the electrophysiology of atrial fibrillation in a large anatomical area). All calculations, computations and cycles were addressed with MATLAB. Once this procedure has been clarified, our first objective is to extract the parameters from the 184 electrocardiographic signals of each patient. In this, our thesis already arrives at a crossroads, which involves the continuation of two parallel paths and characterized by independent data analysis up to the determination of the final result. The first procedure concerns the calculation of the so-called "multi" parameters, which are calculated using all 184 signals coming from the leads, thus obtaining a type of parameter for all 184 electrocardiograms available. These parameters give a cumulative information on the situation of atrial fibrillation on the body surface. It is a powerful but dangerous means, as misleading results could contribute to the determination of the ultimate outcome. At the same time, we will proceed to the calculation of the so-called "single" parameters, which involve the computation of all the parameters that we intend to extract for each signal obtained from each lead. In this way, we will have for each patient a matrix where each parameter will present as many observations as the leads available to us. At this point we will have a very large number of predictors available for this analysis (more than 1200). Once the parameters have been extracted for both the presented routes, and especially given the large number of those present in the second analysis, we will proceed to the feature selection of both, which represents the first real step of data analysis of our thesis. At this point, our project moves to its second big part where machine learning and data mining techniques are the main characters. Before going on with the description of the procedure that will lead to the development of the final model for the classification of future observations, it is important to mention the division of data at our disposal. Our dataset, characterized by 63 patients, is divided into a training and a test set, consisting of 40 and 23 subjects respectively. These subjects are linked to an outcome score (positive or negative) concerning the success of cardioversion, which in the case of the training set will be used for the supervised classification, while for the test set for the evaluation of the accuracy of the classification algorithm. The reduced size of our sample forced us to omit the presence of a validation set, which will involve the use of cross-validation techniques for the evaluation of the generalization of the models generated on the training set. The feature selection process starts with a first step in which we perform a skimming of the best performing predictors at the individual level, through a statistical separation test and a primitive classification evaluation. The parameters that will pass the selection will be those that will present a p-value of significance in the division of the populations of the training set lower than 0.1 and a cross-validated AUC generated by a simple logistic linear regression of each parameter of at least 0.7. In the first skimming, another criterion to be satisfied for the transition to the next phase is also fixed. In the aforementioned cross-validation procedure, we calculate an average accuracy of each validation set, each generated by the performance of the model created by each training set of the different folds. If this average accuracy is greater than or equal to 50% and if the previous two criteria are met, the parameter will continue to the real feature selection of the project. This first selection determined the non-significance of all the multi parameters, thus interrupting the analysis on the latter. As for the single parameters, the selection led us to a first subset of 30 significant parameters that will proceed with the subsequent analyzes. This preselection is essential, especially given the amount of parameters for the path of single leads. A simple feature selection process may fall short in reducing the number of parameters to a smaller quantity than the number of subjects, a situation that would have led to a dimensionality problem. At this point the thesis branches off into further 4 paths, which initially present the method of selecting the chosen parameters as the main difference, but which will also diversify by the best final classification method chosen. The first presented path is an algorithm that, once received data input, operates both a feature selection and a classification. This algorithm is a multivariate logistic regression in which, within the figure of merit, a regularization term is added that foresees the penalization of the regressive coefficients assigned to each parameter. This regularization term can be differentiated according to how it is expressed, giving rise to three different methods, respectively: lasso / elastic net / Ridge regression. The 3 methods, in a general analysis, are mainly diversified for the part of the algorithm that they prefer, or the feature selection, or the fitting of a model that minimizes the error on the training to the maximum. The choice of the best for our data type is done through a procedure, our implementation, which involves the generation of 100 models in which a random training and a random test set are selected at each iteration from the original training set of 40 patients. Each model is fitted and tested with a different value of the penalty term, varied in a range of 10 values, which corresponds exactly to use either lasso, or elastic net, or Ridge regression, or intermediate methods between them. The average accuracy of each model on the sub-training sets and used to classify the sub-test sets determines 10 average accuracy for each penalty value chosen (alpha parameter ranging from 0.1 to 1). The method that presents the best accuracy will be fitted on the training and used for the classification of the original test set of 23 patients. According to the chosen method, a specific feature selection will also be determined, appropriately commented on and analyzed. Before proceeding with the implementation of the proper algorithm, we made a replacement of the missing parameters with an average of the value of the parameters obtained from the surrounding leads to the one considered. This operation was necessary only for the first path because, including both selection of predictors and classification, the dataset in input to the algorithm consists of 30 regressors and every time a missing observation is found for a certain parameter, the algorithm ignores the entire patient, thus reducing the number of observations on which the model is evaluated and implemented. This drastic choice was made only for the first path, because for the others, having differentiated the feature selection operation from the classification, the parameters in input to the classification are appreciably lower than those present in the preselected set, thus making it less disturbing the lack of use of certain observations in the implementation of the model. The second method of feature selection is based instead on the selection of parameters through a classification algorithm, which will not however be used to perform the fitting of the model. The algorithm in question is the Neighborhood Component Analysis, which assigns to each parameter a specific weight based on the importance of the parameter itself for classification. We will then set a threshold of the minimum weight value to determine the inclusion of the parameters in the optimal set, while the predictors with weight below the threshold will be excluded from the selection In the preselected set of 30 features, the predominant presence of a parameter is compared to others. It becomes therefore of fundamental importance to evaluate the possible correlation between the predictors coming from the same type of parameter (the parameter is the same, it changes the lead from which it comes); this dependency could in fact be a benefit to the final model, or bring redundancy that could undermine the predictive performance. For this reason, the last two paths imply a feature selection that evaluates the dependence of the predictors on each other in an implicit or explicit manner. The former uses the Sequential Forward Floating Selection (SFFS), which is nothing more than a stepwise method where one feature is added to the optimal set at a time until a certain stop criterion is satisfied. The features are added based on the cross-validated AUC value of the multivariate logistic regression on the training set and the parameter that added to the temporary optimum set improves the total AUC more is included and proceeds with the next iteration. This method implicitly involves the nature of the existing dependence between the parameters of the model, as if identified as a benefit, even if two parameters are correlated with each other, if the classification based on both outperforms the predictive power showed up by the performance of the individuals, redundancy is overcome and it is correct to include both in the optimal set. The last path is instead implemented by explicitly involving and relying on the correlation of the predictors and on the correlation of these with the binary output variable. Once the parameters have been listed in order of predictive performance (cross-validated AUC), they are added one at a time to the optimal set only in case of improvement of a figure of merit (identified in literature) that evaluates the average dependence of the parameter with those already entered in the optimal set, the number of parameters and the average dependence of the parameters with the outcome. The process, like the previous one, proceeds to a stop criterion, identified in the lack of improvement of the figure of merit to the addition of a predictor. Once the feature selection of each path has been completed, omitting the first one that includes feature selection and classification in the same algorithm, we implement the same procedure in parallel to choose the best classification method for each protocol. To do this, we use MATLAB CLASSIFICATION TOOL, which provides different classification algorithms by calculating an average accuracy of a 5-fold cross-validation for each method. Whenever a method has an average accuracy greater than 60%, a simulation of 100 Monte Carlo iterations is implemented for the aforementioned algorithm on the training set. Within each iteration, we proceed to the cross-validation of the algorithm, with the calculation of the average accuracy. The 100 accuracy scores generated in this way are averaged and the method with the best average accuracy is denoted on the training set and tested on the test set generating the final accuracy value which represents a performance index of each of the 4 models on future observations. The best performances are given by the first three pathways, with accuracy on the test set greater than or equal to 70%, while the worst is given by the fourth one which has an accuracy of 65%. The accuracy on the test set, but above all on the training, an index of the generalizability of the model, gives us great indications on the best parameter compositions between the 4 paths, on which we can reason and from which we can draw important conclusions on how they relate to each other. Having reached the main objective of our thesis, we proceeded with support analyzes involving analysis of clinical data and reasoning on the position of significant leads with respect to the classic 12-electrode configuration. We have acquired 35 types of clinical data for available patients. Once implemented the same procedure as for the preselection of the electrocardiographic parameters, the clinical data that have been successful in this step will be joined to the parameters extracted from the ECG of each path, to evaluate an improvement of the predictive power. Furthermore, we have undertaken a separate analysis that provides for fitting and classification based solely on clinical data, in order to have a performance index of these considered alone. The results were disappointing, as for the first trial, the clinical data together with the ECGs do not improve the previously generated model, while the model created with clinical data alone produces unpromising results. The reason for these outcomes is probably due to the lack of many observations for most of the parameters of many patients, a factor that has greatly affected both the preselection and the use of a few observations on which to build the model. The second goal is instead a comparison of the analyzes made on our acquisitions with 180 electrodes with the classic 12. In this, we have identified the position of the significant leads in the 180 configuration and we compared it to the 12 lead, obviously considering for each parameter which was the lead of the most important classical configuration from literature for the prediction of the recurrence of atrial fibrillation for that predictor itself. In this way, we can figure out important conclusions on how to move the classic configuration leads slightly to achieve the intended target, or on where to add electrodes to this configuration and which are the parameters extracted from them.

La fibrillazione atriale rappresenta un anormale ritmo cardiaco, che è caratterizzato da una successione di battiti rapidi e irregolari degli atri. Inizialmente può essere caratterizzata da eventi occasionali, con brevi periodi di battito anormale, ma col tempo questi accadimenti possono aumentare la frequenza e la loro durata. A causa di questa differenza nel numero e nelle caratteristiche degli episodi di fibrillazione, i pazienti che ne vengono colpiti possono essere classificati in tre differenti gruppi; la fibrillazione atriale viene clinicamente classificata come parossistica, quando gli eventi si succedono e si assestano in un tempo tendenzialmente inferiore a una settimana, persistente, quando gli episodi non si interrompono in maniera spontanea ma solamente a seguito di interventi esterni, permanente, quando gli interventi terapeutici per fermare questa anomalia cardiaca risultano inefficaci. Nonostante questa classificazione standard sia ampiamente riconosciuta, essa non coinvolge nel suo criterio di distinzione la variabilità dei cambiamenti elettrici e strutturali determinati dalla fibrillazione atriale nel tempo. Non risulta però difficile solo la classificazione della malattia a causa del meccanismo molto complesso su cui si evolve, ma è anche molto difficile da diagnosticare per la frequente assenza di sintomi nei pazienti colpiti. Il numero di pazienti colpiti da questa malattia sta crescendo in tutti i paesi sviluppati e viene sempre più associata con morbilità e mortalità. Per questa ragione, la predizione dello sviluppo della fibrillazione atriale ha attirato grande attenzione dalla ricerca clinica, in modo da migliorare output diagnostici e terapeutici a livello della popolazione. In questo senso, molte variabili cliniche e demografiche sono state studiate in maniera approfondita, in modo da individuare possibili fattori di rischio dal valore assunto da questi ultimi. Per la diagnosi e per lo studio della fibrillazione atriale sono proposte nello stato dell’arte sia tecniche invasive che non-invasive. La nostra attenzione, e quella del nostro studio, è indirizzata verso le seconde, che identificano gli elettrocardiogrammi come maggiore fonte di informazione per la diagnosi, lo studio di questa complessa malattia. Gli elettrocardiogrammi cambiano significativamente in base al tipo di paziente con cui abbiamo a che fare (parossistico, persistente o permanente). Per i parossistici, infatti, essendo gli eventi molto rari, vengono usati dei monitor Holter per verificare questi accadimenti e, per la stessa ragione, il parametro più studiato per un controllo e una predizione di un riassestamento spontaneo della situazione fisiologica è rappresentato dalla P-wave. La lunghezza della P-wave, la sua frequenza e gli indici che la riguardano sono la maggiore fonte di alterazione della situazione elettrofisiologica e della modifica strutturale dell’atrio, associati con parametri clinici identificati come fattore di rischio. Questi pazienti, se ritenuto necessario, possono essere sottoposti a interventi terapeutici. Il primo di questi è rappresentato dalla cardioversione farmacologica mediante l’utilizzo di farmici antiaritmici (AAD) e, in certi casi, da cardioversione elettrica o ablazione. Pazienti che invece presentano una versione più grave della malattia, con eventi meno sporadici e lunghi, vengono identificati come persistenti o permanenti. Come sopramenzionato, per pazienti che presentano una versione permanente della malattia certi interventi esterni possono risultare inefficienti, discorso differente invece per i pazienti con fibrillazione atriale persistente. I pazienti persistenti presentano un elettrocardiogramma caratterizzato maggiormente da f-wave, onde caratteristiche e tipiche della fibrillazione che si sostituiscono alla classica P-wave fisiologica. Per lo studio di questi casi, oltre alla classica terapia farmacologica, possono essere intraprese due strade. La prima prevede di sottoporre questi pazienti a cardioversione elettrica, riportando quindi questi ultimi al classico ritmo sinusale con conseguente ricomparsa dell’onda P, in modo da studiare le caratteristiche e gli indici di quest’onda. Successivamente, a causa del fallimento delle precedenti terapie, questi pazienti possono essere sottoposti all’intervento di ablazione, che prevede l’eliminazione di una parte di tessuto con rischi connessi all’intervento chirurgico. In questo modo, il confronto degli indici dell’onda P prima e dopo l’intervento determina la possibilità di ricorrenza della malattia, in modo da effettuare una predizione del successo del trattamento nel medio-lungo termine. L’evidenza clinica e il successo di questi trattamenti ha percentuali di successo alte ma che non sono basate sulla certezza. Inoltre, i rischi connessi all’intervento di ablazione (soprattutto di quella chirurgica rispetto a quella con l’utilizzo di transcatetere) portano la ricerca clinica a studiare in maniera più approfondita i parametri estratti dall’elettrocardiogramma (analisi non invasiva), in modo tale da utilizzare questi ultimi per la generazione di un modello predittivo di ripristino delle condizioni fisiologiche nel corto e nel medio-lungo termine. In questo punto viene identificato il secondo tipo di percorso a cui vengono sottoposti i pazienti che soffrono di fibrillazione atriale persistente. Prima di effettuare l’intervento di cardioversione elettrica, viene acquisito l’elettrocardiogramma di questi pazienti durante episodi di fibrillazione atriale (la durata dell’elettrocardiogramma è tendenzialmente variabile, ma solitamente di un minuto circa), in modo da intraprendere un processo di analisi del segnale in cui processi di filtraggio e enhancing generano il tracciato a cui si è interessati. Dal tracciato ottenuto vengono quindi estratti diversi tipi di parametri ECG, detti parametri complessi. Tramite questi parametri, l’obiettivo è quello di effettuare una predizione sul ritorno a una situazione stabile, che determinerebbe il successo dell’intervento di cardioversione e dell’assenza di episodi di fibrillazione atriale. Per eseguire l’atto di predizione, è necessario generare un modello di classificazione parametrizzato, che, a ogni nuova osservazione acquisita, determini una previsione sul successo che avrebbe la terapia sul paziente da cui provengono le suddette osservazioni (valore dei parametri). Il nostro progetto comincia la sua trattazione esattamente da questa fase. Siamo in possesso di segnali ECG, provenienti da pazienti colpiti da fibrillazione atriale persistente, registrati presso il Maastricht University Medical Centre (MUMIC). Gli elettrocardiogrammi di questi pazienti sono stati registrati con una tecnica di Body Surface Potential Mapping (BSPM), nella quale 184 elettrodi sono disposti sulla parte superiore del corpo, coprendo sia la zona anteriore che quella posteriore. Questi elettrodi sono tutti unipolari e ognuno di essi determina un segnale ECG di una determinata area del corpo. In questo modo, le analisi della propagazione delle onde caotiche di fibrillazione atriale vengono studiate in maniera più approfondita, con l’obiettivo di estrarre informazioni che la classica acquisizione a 12 lead non sarebbe in grado di fare. Questo tipo di acquisizioni con conseguente studio di analisi sulla predizione della ricorrenza della fibrillazione atriale sono poco affrontate in letteratura, mentre modelli di predizione basati su parametri acquisiti dalla classica registrazione a 12 lead sono numerosi, ma differiscono molto in termini di risultati. Dopo aver verificato la corposa numerosità di studi sulla predizione della fibrillazione atriale, abbiamo riscontrato un’avvisabile mancanza di evidenza data dalla bassa sovrapposizione dei suddetti. Gli studi differiscono nell’importanza di certi parametri rispetto ad altri in termini di predizione, nel modo in cui questi si legano ai parametri clinici, che dovrebbero spiegare il diverso trend dei parametri predittori stessi a livello fisiologico e medico. Inoltre, in molti studi, i parametri vengono estratti direttamente e solamente dai lead della classica registrazione a 12 derivazioni che hanno avuto successo nella precedente letteratura. Con il nostro progetto, invece, intendiamo effettuare un’analisi più ampia e generale, che non ci privi della possibilità di effettuare una investigazione approfondita data la numerosità di dati disponibili per ogni paziente (per ogni soggetto, infatti, abbiamo a disposizione 184 segnali, ognuno dei quali identifica e definisce l’elettrofisiologia della fibrillazione atriale in una determinata area anatomica). Tutti i calcoli, le computazioni e i cicli sono stati affrontati con MATLAB. Una volta chiarificato questo modo di procedere, il nostro primo obiettivo è quello di estrarre i parametri dai 184 segnali elettrocardiografici di ogni paziente. In questo, la nostra tesi arriva già a un bivio, che comporta il proseguimento di due strade parallele e caratterizzate da analisi indipendenti di dati fino alla determinazione del risultato finale. Il primo procedimento riguarda il calcolo dei cosiddetti parametri “multi”, i quali sono calcolati utilizzando tutti i 184 segnali provenienti dai lead, procurandoci in questo modo un tipo di parametro per tutti i 184 elettrocardiogrammi a disposizione. Questi parametri danno un’informazione cumulativa della situazione della fibrillazione atriale sulla superficie corporea. Si tratta di un mezzo potente, ma pericoloso, in quanto risultati fuorvianti potrebbero contribuire alla determinazione del risultato finale. Parallelamente procederemo al calcolo dei cosiddetti parametri “single”, che prevedono la computazione di tutti i parametri che abbiamo intenzione di estrarre per ogni segnale ricavato da ogni lead. In questo modo avremo a disposizione per ogni paziente una matrice dove ogni parametro presenterà tante osservazioni quanti sono i lead a nostra disposizione. A questo punto avremo un numero molto consistente di predittori per questa analisi (più di 1200). Una volta estratti i parametri per entrambi i percorsi presentati e soprattutto dato il cospicuo numero di quelli presenti nella seconda analisi, procederemo alla feature selection (selezione dei parametri) di entrambi, che rappresenta il primo vero step di analisi di dati della nostra tesi. Il nostro progetto entra quindi nel vivo della sua seconda grande parte, dove tecniche di machine learning e data mining sono protagoniste. Prima di procedere alla descrizione del procedimento che porterà allo sviluppo del modello finale per la classificazione di osservazioni future, è importante menzionare la suddivisione dei dati a nostra disposizione. Il nostro dataset, caratterizzato da 63 pazienti, viene diviso in un training e in un test set, costituiti rispettivamente da 40 e 23 soggetti. Di questi soggetti siamo in possesso dell’outcome (positivo o negativo) riguardante il successo della cardioversione, che nel caso del training set verrà usato per la classificazione supervisionata, mentre per il test set per la valutazione dell’accuratezza dell’algoritmo di classificazione. La ridotta grandezza del nostro sample ci ha obbligati a omettere la presenza di un set di validazione, che comporterà l’utilizzo di tecniche di cross-validazione per la valutazione della generalizzazione dei modelli generati sul training set. Il processo di feature selection si avvia con un primo step nel quale effettuiamo una scrematura di quelli che sono i predittori più performanti a livello individuale, tramite un test statistico di separazione e una primitiva valutazione sulla classificazione. I parametri che passeranno la selezione saranno quelli che presenteranno un p-value di significatività nella divisione delle popolazioni del training set inferiore a 0.1 e un AUC cross-validato generato da una semplice regressione lineare logistica di ogni parametro di almeno 0.7. Nella prima scrematura, viene fissato inoltre un altro criterio da soddisfare per il passaggio alla fase successiva. Nel procedimento sopramenzionato di cross-validazione, calcoliamo una media di accuratezza di ogni validation set, ognuna generata dalla performance del modello creato da ogni training set dei diversi fold. In caso questa accuratezza media sia maggiore o uguale al 50% e se soddisfatti i precedenti due criteri, il parametro proseguirà alla vera e propria feature selection del progetto. Questa prima selezione ha determinato la non significatività di tutti i parametri multi, interrompendo in questo modo le analisi su questi ultimi. Per quanto riguarda invece i parametri single, la selezione ci ha condotti a un primo subset di 30 parametri significativi che procederanno con le analisi successive. Questa preselezione è fondamentale, soprattutto data la enorme quantità di parametri per il percorso dei single lead. Un semplice processo di feature selection potrebbe non rivelarsi infatti sufficiente a ridurre il numero di parametri a una quantità inferiore rispetto a quella del numero di soggetti, situazione che avrebbe portato un problema di dimensionalità. A questo punto la tesi si dirama in ulteriori 4 percorsi, che inizialmente presentano come principale differenza il metodo di selezione dei parametri scelto, ma che si diversificheranno anche nel migliore metodo di classificazione finale. Il primo percorso presentato tratta un algoritmo che, una volta ricevuti in ingresso i dati, opera sia una feature selection che una classificazione. Questo algoritmo è una regressione logistica multivariata nella quale, all’interno della figura di merito, viene aggiunto un termine di regolarizzazione che prevede la penalizzazione dei coefficienti regressivi assegnati ad ogni parametro. Questo termine di regolarizzazione può diversificarsi in base a come viene espresso, dando vita rispettivamente a 3 metodi differenti: lasso/elastic net/Ridge regression. I 3 metodi, in un’analisi generale, si diversificano principalmente per la parte dell’algoritmo che privilegiano, o la feature selection, o il fitting di un modello che minimizzi al massimo l’errore sul training. La scelta del migliore per il nostro tipo di dati viene effettuata tramite una procedura, da noi implementata, che prevede la generazione di 100 modelli in cui un random training e un random test set vengono selezionati ad ogni iterazione dal training set originario di 40 pazienti. Ogni modello viene fittato e testato con un diverso valore del termine di penalizzazione, variato in un range di 10 valori, che corrisponde esattamente a utilizzare o lasso, o elastic net, o Ridge regression, o metodi intermedi tra questi. La media delle accuratezze di ogni modello fittato sui sub-training set e utilizzato per classificare i sub-test set determina 10 accuratezze medie per ogni valore di penalizzazione scelto (parametro alfa che varia da 0.1 a 1). Il metodo che presenta l’accuratezza migliore verrà fittato sul training e utilizzato per la classificazione del test set originale di 23 pazienti. In base al metodo scelto verrà anche determinata una specifica feature selection, opportunamente commentata e analizzata. Prima di procedere all’attuazione dell’algoritmo vero e proprio, abbiamo operato una sostituzione dei parametri mancanti con una media del valore dei parametri ottenuti dai lead circostanti a quello considerato. Questa operazione è stata necessaria solamente per il primo percorso in quanto, comprendendo sia selezione di predittori che classificazione, il dataset in input all’algoritmo è costituito da 30 regressori e ogni qualvolta viene riscontrata un’osservazione mancante per un determinato parametro, l’algoritmo ignora l’intero paziente, riducendo così il numero di osservazioni su cui viene valutato e implementato il modello. Questa scelta drastica è stata operata solamente per il primo percorso, in quanto per gli altri, avendo differenziato l’operazione di feature selection dalla classificazione, i parametri in input alla classificazione sono apprezzabilmente inferiori rispetto a quelli presenti nel set preselezionato, rendendo così meno inficiante il mancato utilizzo di certe osservazioni nell’implementazione del modello. Il secondo metodo di feature selection si basa invece sulla selezione di parametri tramite un algoritmo di classificazione, che non verrà però utilizzato per effettuare il fitting del modello. L’algoritmo in questione è la Neighborhood Component Analysis, che assegna ad ogni parametro un peso specifico in base all’importanza del parametro stesso per la classificazione. Fisseremo successivamente una threshold del valore di peso minimo per determinare l’inclusione dei parametri nel set ottimo, mentre i predittori con peso inferiore alla threshold verranno esclusi dalla selezione. Nel set preselezionato di 30 feature, viene riscontrata la presenza predominante di un parametro rispetto ad altri. Diventa quindi di fondamentale importanza valutare la correlazione possibile esistente fra i predittori provenienti dallo stesso tipo di parametro (il parametro è lo stesso, cambia il lead da cui proviene); questa dipendenza potrebbe infatti essere un benefit per il modello finale, oppure portare ridondanza che potrebbe inficiare la performance predittiva. Per questa ragione, gli ultimi due percorsi implicano una feature selection che valuti in maniera rispettivamente implicita o esplicita la dipendenza dei predittori l’uno dall’altro. Il primo utilizza la Sequential Forward Floating Selection (SFFS), che non è altro che un metodo stepwise dove una feature alla volta viene aggiunta al set ottimo fino a quando un certo criterio di stop non viene soddisfatto. Le feature vengono aggiunte in base al valore dell’AUC cross-validato della regressione logistica multivariata sul training set e il parametro che aggiunto al set ottimo temporaneo migliora maggiormente l’AUC totale viene incluso e si procede con l’iterazione successiva. Questo metodo implicitamente coinvolge la natura della dipendenza esistente tra i parametri del modello, in quanto se identificata come benefit, anche se due parametri sono correlati tra di loro, nel caso in cui la classificazione basata su entrambi migliori il potere predittivo presentato dalla performance dei singoli, la ridondanza viene superata ed è corretto comprendere entrambi nel set ottimo. L’ultimo percorso è invece implementato coinvolgendo e basandosi esplicitamente sulla correlazione dei predittori e sulla correlazione di questi con la variabile binaria di output. Una volta elencati i parametri in ordine di perfomance predittiva (AUC cross-validato), questi vengono aggiunti uno alla volta al set ottimo solo in caso di miglioramento di una figura di merito (individuata in letteratura) che valuta la dipendenza media del parametro con quelli già inseriti nel set ottimo, il numero di parametri e la dipendenza media dei parametri con l’outcome. Il processo, come quello precedente, procede fino a un criterio di stop, identificato nella mancanza di miglioramento della figura di merito all’aggiunta di un certo predittore. Una volta terminata la feature selection di ogni percorso, tralasciando il primo che comprende feature selection e classificazione nel medesimo algoritmo, implementiamo parallelamente lo stesso procedimento per la scelta del miglior metodo di classificazione di ogni protocollo. Per fare questo, ci avvaliamo del CLASSIFICATION TOOL di MATLAB, che fornisce diversi algoritmi di classificazione calcolando un’accuratezza media di una cross-validazione a 5 fold per ogni metodo. Ogni volta che un metodo presenta una accuracy media maggiore del 60%, una simulazione di 100 iterazioni Monte Carlo viene implementata per il suddetto algoritmo sul training set. All’interno di ogni iterazione si procede alla cross-validazione dell’algoritmo, con il conseguente calcolo dell’accuratezza media. Le 100 accuracy in questo modo generate vengono mediate e il metodo con l’accuratezza media migliore viene fittato sul training set e testato sul test set generando il valore finale di accuracy che rappresenta un’indice di performance di ognuno dei 4 modelli sulle osservazioni future. Le performance migliori sono date dai primi tre percorsi, con accuratezza sul test set maggiori o uguali al 70%, mentre la peggiore è data dal quarto percorso che presenta un’accuratezza del 65%. Le accuratezze sul test set, ma soprattuto quelle sul training, indice della generalizzabilità del modello, ci danno grandi indicazioni sulle migliori composizioni di parametri tra i 4 percorsi, su cui possiamo ragionare e da cui possiamo trarre conclusioni importanti sul modo in cui si relazionano tra loro. Raggiunto il principale obiettivo della nostra tesi, abbiamo proceduto con analisi di supporto che coinvolgono studi di dati clinici e ragionamenti sulla posizione dei lead significativi rispetto alla configurazione classica a 12 elettrodi. Siamo entrati in possesso di 35 tipi di dati clinici per i pazienti a disposizione. Una volta implementato lo stesso procedimento visto per la preselezione dei parametri elettrocardiografici, i dati clinici che hanno avuto successo in questo step verranno affiancati ai parametri estratti dagli ECG di ogni percorso, per valutare un miglioramento del potere predittivo. Inoltre, abbiamo intrapreso un’analisi a parte che prevede il fitting e la classificazione basati solamente sui dati clinici, in modo di avere un indice di performance di questi considerati da soli. I risultati sono stati deludenti in quanto per quello che concerne il primo processo, i dati clinici insieme agli ECG non migliorano il modello precedentemente generato, mentre il modello creato con i soli dati clinici produce risultati poco promettenti. Il motivo di questi outcome è probabilmente dato dalla mancanza di molte osservazioni per la maggior parte dei parametri di molti pazienti, fattore che ha inficiato molto sia sulla preselezione, che sull’utilizzo di poche osservazioni su cui costruire il modello. Il secondo side goal riguarda invece un confronto delle analisi operate sulle nostre acquisizioni a 184 elettrodi con quella classica a 12. In questo, abbiamo individuato la posizione dei lead significativi nella configurazione 184 e l’abbiamo rapportata a quella dei lead della 12, considerando ovviamente per ogni parametro quale fosse il lead della configurazione classica più importante da letteratura per la predizione della ricorrenza della fibrillazione atriale per quello stesso predittore. In questo modo, possiamo configurare conclusioni importanti su come spostare leggermente i lead della configurazione classica per raggiungere l’obiettivo designato, o su dove aggiungere elettrodi a questa configurazione e su quale parametro estrarre dagli stessi.