Machine learning and deep learning approaches based on spatio-temporal information for scar detection applied to cine cardiac magnetic resonance images

Cardiovascular Magnetic Resonance (CMR) is the main imaging modality for the evaluation of severe cardiomyopathies, such as ischemic dilated cardiomyopathy. The conventional clinical imaging protocol is based on the acquisition of images using two types of CMR sequences: cine sequences, which provide detailed analysis of left ventricular (LV) myocardial wall motion and thickening during the cardiac cycle, and Late Gadolinium Enhancement (LGE) CMR images, enhanced by Gadolinium (Gd)-based contrast agent (GBCA), which are used to assess regional myocardial fibrosis and scar formation. As long-term toxicity caused by deposition of Gd in biological tissues is still under investigation and there are general concerns about the administration of GBCAs, the role of not contrast-enhanced images for scar tissue analysis needs to be investigated. The underlying idea of this thesis is that textural differences and contraction anomalies due to presence of myocardial fibrotic areas can be evaluated by machine learning (ML) and deep learning (DL) models applied to non-contrast cine CMR images. More specifically, in this implementation the textural information found in the end-diastolic (ED) frame was enriched by dynamical information naturally encoded in the cine sequences. Parametric images were used to condense this temporal information into a reduced number of synthetic still frames. In this work, two types of parametric images were tested: based on Fourier analysis and on monogenic signal. The study was conducted retrospectively by using the CMR images of 150 patients affected by ischemic dilated cardiomyopathy acquired at IRCCS Centro Cardiologico Monzino: for each of them the short-axis cine CMR sequences and the corresponding LGE images were available, together with the gold standard represented by LV endocardial and epicardial manually traced contours, and the information in each LGE image about the presence or not of the scar in each of the six sectors in which the myocardium is divided following the guidelines of the American Heart Association (AHA) 17-sector model. The original dataset was filtered to eliminate all the sectors that could not have been correctly processed due to missing information, obtaining 5088 healthy sectors and 1907 pathological ones. Random forest (RF), Support Vector Machine (SVM) and Convolutional Neural Networks (CNN) were applied and their performance compared. In this work, three different protocols were set up to classify the myocardial sectors, each with a different input dataset for the classification models. In the first protocol (P1) the ED frames of each cine sequence were used as input to the models, thus basing the classification only on static information of texture and intensity. The second protocol (P2) combined the Fourier parametric images of normalized amplitude and phase with the static cine sectors used in P1, with the aim of including temporal information relevant to myocardial movement during the cardiac cycle. In the third protocol (P3), monogenic parametric images of the difference in amplitude and phase between ED and end-systolic (ES) frames were used instead of Fourier images, as an alternative parametric method to condensate temporal information. All three protocols were adopted for all classification models used in this thesis (RF, SVM and CNN), and for robust performance evaluation a 10-fold cross validation was used, assigning each patient to only one fold for the entire procedure. During the training of RF and SVM models, the classification algorithm was optimized via grid-search, which considers all combinations of model parameters. For the CNN, instead, the complete training fold was divided into training and validation subgroups (70% and 30%, respectively). The results showed that P2 and P3 guaranteed an overall improvement compared to P1. The best performances were obtained in P2: the highest recall was achieved by using SVM (median = 69%, inter-quartile range (IQR) = 4%), with a corresponding precision of 70% (IQR = 2%), F1-score equal to 70% (IQR = 4%) and a mean area under the curve (AUC) of 69% (standard deviation (sd) = 5%), while the application of CNN resulted in median recall equal to 68% (IQR = 4%), a precision of 71% (IQR = 5%), F1-score of 69% (IQR = 5%) and mean AUC equal to 70% (sd = 1%). No significant difference (Tukey’s test, p-values> 0.05) was found between the results of P2 and P3. Based on these results, this work highlighted that dynamical information encoded in parametric images allowed for better performance than just using static ED cine frames. Fourier analysis evaluates the oscillation of each pixel video-intensity during cardiac cycle and uses this information as an estimation of the movement. On the other hand, parametric images based on monogenic signal exploit the application of properly defined filters, taking into account only ED and ES frames without requiring symmetricity assumptions. The advantage of having a punctual analysis allowed Fourier to guarantee the best results, but the monogenic signal appears as a valid alternative tool for the classification. Considering the ML approaches, SVM better performed for our task compared to RF and reached the best results. Moreover, complex DL architectures were capable of exploiting spatio-temporal information guaranteeing a good classification with our input dataset. These results showed that advanced ML and DL models could constitute a valid approach for classification of myocardial sectors with scar when using dynamical information, and their utilization could represent a step towards the detection of scars in Gd-free images.

La Risonanza Magnetica Cardiovascolare (CMR) è la modalità di imaging principale per la valutazione di cardiomiopatie gravi, come la cardiomiopatia ischemica dilatativa. Il convenzionale protocollo clinico di imaging si basa sull’acquisizione di immagini usando due tipologie di sequenze CMR: le sequenze cine, che forniscono un'analisi dettagliata del movimento e dell’ispessimento della parete miocardica del ventricolo sinistro (LV) durante il ciclo cardiaco, e le immagini CMR Late Gadolinium Enhancement (LGE), che sfruttano l’utilizzo di agenti di contrasto a base di Gadolinio (Gd) (GBCA) per valutare la presenza di fibrosi e la formazione di tessuto cicatriziale nella parete ventricolare. Poiché la tossicità a lungo termine causata dall’accumulo di Gd nei tessuti biologici è ancora in fase di studio e sono ad oggi emerse preoccupazioni generali in merito alla sicurezza dei GBCA, è necessario valutare il ruolo delle immagini non contrastate nell’individuazione di tessuto cicatriziale. L'idea alla base di questa tesi è che le differenze di texture e le anomalie di contrazione dovute alla presenza di aree miocardiche affette da tessuto cicatriziale possano essere valutate con modelli di machine learning (ML) e deep learning (DL) applicati alle immagini cine non contrastate. Più nel dettaglio, in questo lavoro l'informazione di texture del frame di fine diastole (ED) è stata arricchita da informazioni dinamiche contenute all’interno delle sequenze cine. Per condensare le informazioni dinamiche sono state utilizzate le immagini parametriche, in grado di riassumere tali informazioni in un numero ridotto di frame. In questo lavoro sono state testate le immagini parametriche basate su due approcci: analisi di Fourier e segnale monogenico. Lo studio retrospettivo è stato condotto utilizzando le immagini di 150 pazienti affetti da cardiomiopatia ischemica dilatativa, acquisite presso IRCCS Centro Cardiologico Monzino: sono state messe a disposizione le sequenze CMR cine e le corrispondenti immagini LGE di ciascuno paziente, insieme al gold standard rappresentato dai contorni tracciati a mano di endocardio ed epicardio del ventricolo sinistro, oltre che l’informazione in ciascuna immagine LGE sulla presenza di tessuto cicatriziale in ognuno dei sei settori in cui il miocardio è stato suddiviso secondo le linee guida del modello a 17 settori definito dall'American Heart Association (AHA). Il dataset originale è stato filtrato per eliminare tutti i settori che non sarebbero stati elaborati correttamente a causa della mancanza di informazioni, ottenendo quindi 5088 settori sani e 1907 settori patologici. Sono stati utilizzati e successivamente messi a confronto i metodi di Random forest (RF), Support Vector Machine (SVM) e Convolutional Neural Network (CNN). In questo lavoro sono stati definiti tre diversi protocolli per classificare i settori del miocardio, ognuno con un differente dataset di ingresso per i modelli di classificazione. Nel primo protocollo (P1) i frame ED di ogni sequenza cine sono stati usati come input, basando quindi la classificazione solamente su informazioni statiche di texture e intensità. Il secondo protocollo (P2) ha combinato le immagini parametriche di ampiezza normalizzata e fase di Fourier con i settori cine statici usati in P1, con lo scopo di includere informazioni temporali relative al movimento del miocardio durante il ciclo cardiaco. Nel terzo protocollo (P3), sono state utilizzate immagini parametriche monogeniche della differenza in ampiezza e fase tra i frame di fine diastole e fine sistole al posto delle immagini di Fourier, come metodo parametrico alternativo per condensare l’informazione temporale. Tutti e tre i protocolli sono stati adottati per tutti i modelli di classificazione usati in questa tesi (RF, SVM e CNN) e per una valutazione robusta delle prestazioni è stata utilizzata una procedura di 10-fold cross validazione, assegnando ogni paziente ad un solo gruppo per l’intera procedura. Durante l’allenamento dei modelli RF e SVM l’algoritmo di classificazione è stato ottimizzato via grid-search, che considera tutte le possibili combinazioni dei parametri del modello. Per la CNN, il dataset di training è stato ulteriormente diviso nei sottogruppi di training e validation (70% e 30% rispettivamente). I risultati hanno mostrato che P2 e P3 garantiscono un miglioramento complessivo rispetto a P1. Le migliori prestazioni sono state ottenute in P2: la più alta recall è stata raggiunta attraverso l’utilizzo delle SVM (mediana = 69%, range inter-quartile (IQR) = 4%), con una corrispondente precisione del 70% (IQR = 2%), F1-score pari al 70% (IQR = 4%) e un’area sotto la curva (AUC) media del 69% (deviazione standard (sd) = 5%), mentre l’applicazione della CNN ha portato ad una recall mediana pari al 68% (IQR = 4%), una precisione del 71% (IQR = 5%), F1-score del 69% ( IQR = 5%) ed una AUC media pari al 70% (sd = 1%). Non è stata riscontrata differenza significativa (test di Tukey, p-value > 0.05) tra i risultati di P2 e P3. Sulla base dei risultati ottenuti, questo lavoro ha evidenziato come l’informazione dinamica contenuta nelle immagini parametriche permetta di avere prestazioni migliori rispetto all’utilizzo dei soli frame statici ED. L’analisi di Fourier valuta l’oscillazione della video-intensità di ogni pixel durante il ciclo cardiaco e sfrutta questa informazione per la stima del movimento. D’altra parte, le immagini parametriche basate sul segnale monogenico utilizzano l’applicazione di filtri opportunamente definiti, considerando solo i frame di fine diastole e fine sistole senza richiedere ipotesi di simmetria. Il vantaggio di condurre un’analisi puntuale ha garantito al metodo basato su Fourier di raggiungere i risultati migliori, ma il segnale monogenico appare come uno strumento alternativo valido per la classificazione. Considerando gli approcci di ML, le SVM hanno superato le prestazioni del modello RF ed hanno raggiunto i risultati migliori. Inoltre, architetture complesse di DL sono state in grado di sfruttare le informazioni spazio-temporali garantendo una buona classificazione con il nostro dataset di ingresso. Questi risultati hanno mostrato come modelli avanzati di ML e DL possano rappresentare un valido approccio per la classificazione dei settori del miocardio con tessuto cicatriziale nel momento in cui si utilizzano informazioni dinamiche, e il loro utilizzo potrebbe rappresentare un passo avanti verso l’individuazione di tessuto cicatriziale in immagini acquisite senza l’utilizzo di Gd.