A Deep Learning approach for scar segmentation from late gadolinium enhancement cardiac magnetic resonance images

Cardiovascular diseases (CVDs) are the leading cause of death worldwide: according to WHO data, about 17.7 million people died in 2015 for CVDs, that means 31% of all deaths worldwide. One of the most common histological features of heart failure is the presence of myocardial fibrotic scars, due to tissue-repair process. Nowadays, in order to identify and evaluate the scar, the clinical practice involves the use of medical imaging and, in particular, of cardiac magnetic resonance (CMR) with late Gadolinium Enhancement (LGE). CMR-LGE involves the use of gadolinium (Gd), a contrast medium injected intravenously about 10-20 minutes before the CMR is performed, so that it has already been disposed of from healthy tissue and it is lodged only in the fibrotic tissue. CMR-LGE images are segmented to identify the contours of epicardium and endocardium in each CMR-LGE slice and, subsequently, of the fibrotic scar tissue. Currently the image segmentation is done by an operator manually or semi-automatically, using n-standard deviation (n-SD) and full width at half maximum algorithms. In this thesis, the application of ENet [28], a convolutional neural network with supervised learning designed to perform scar segmentation on CMR-LGE images is proposed. The architecture of ENet is developed on 6 stages consisting of convolutional and Max Pooling blocks and finally presents a full-convolution stage; furthermore, ENet uses the Adam optimization method, which takes into account both the mean and the non-centered variance of the gradient of the cost function, for updating the parameters during the network learning process. In this thesis, ENet was evaluated with four experimental protocols, one protocol for detecting the contours of epicardium and endocardium, and the other three for detecting the contours of cardiac scars. Protocol 1 (P1) used the network taking CMR-LGE images as input, with the aim of identifying the epicardium and endocardium contours on them. Protocol 2 (P2) used the network taking CMR-LGE images as input, with the aim of identifying the contours of cardiac scars on them. Protocol 3 (P3) used the network taking as input the CMR-LGE images multiplied by the corresponding binary mask of the epicardium-endocardium contours, in order to reduce the region of research to the myocardium, with the aim of identify the contours of cardiac scars. Protocol 4 (P4) combined in series the protocol P1 and P3 with the purpose of identifying the cardiac scars on the CMR-LGE images taken as input. Using Leave-One-Patient-Out cross-validation, in each protocol the network was trained, with a dataset containing 250 images, obtained from CMR-LGE sequences of 30 patients, and the corresponding binary masks obtained by manual segmentation of epicardial outlines -endocardium and scars. To evaluate the network performance in the protocols, the results of the four protocols were evaluated by calculating the accuracy, sensitivity, and specificity indexes and, subsequently, the Dice Similarity Coefficient (DSC) was calculated for the qualitative analysis. The results of the four protocols are summarized below: • P1: Accuracy was found to be 93.55% with an interquartile range (IQR) of 1.38%, specificity to 94.26% with an IQR of 1.67% and sensitivity to 91.77% with an IQR of 4.35%. The SDC stood at 85.52% with an IRQ of 7.59%. • P2: Accuracy was 95.79% with an interquartile range (IQR) of 3.55%, specificity at 97.31% with an IQR of 3.01% and sensitivity at 68.77% with an IQR of 34.83%. The SDC was 55.29% with an IRQ of 41.03%. • P3: Accuracy was 96.83% with an interquartile range (IQR) of 3.26%, specificity at 97.89% with an IQR of 2.93% and sensitivity at 88.07% with an IQR of 17.84%. The SDC stood at 71.25% with an IRQ of 31.82%. • P4: Accuracy was 95.07% with an interquartile range (IQR) of 3.22%, specificity at 96.9% with an IQR of 3.46% and sensitivity at 72.86% with an IQR of 34.5%. The SDC was 50.62% with an IRQ of 49.12%. The P1 shows promising results when compared with semiautomatic and Deep Learning algorithms present in the literature (Yang et al. [48], DSC 0.75 ± 0.04, Sjögren et al. [36], DSC 0.85 ± 0.07, Tufvesson et al. [47], DSC 0.85 ± 0.08). Comparing the results of P2, P3 and P4 with algorithms present in the literature, it can be stated that the proposed protocols result to be in the literature results’ DSC range (0.44-0.85) with P3 showing the best results. From the comparison between P2 and P3, the latter achieved higher values of accuracy, sensitivity, specificity and DSC, demonstrating that by limiting the informative content of the image to the only region of interest for the detection of scars (i.e. myocardial region) the network performance increased. In fact, by being a combination of P1 and P3, P4 suffered from a cumulative error, and this considerably influenced the lower performance obtained with P4. In conclusion, the results of this thesis are an encouraging starting point for the detection of fibrotic scar tissue in CMR-LGE, supporting the use of deep learning in the field to reduce the intervention of the operator with consequent reduction of processing times, and intra- and inter-subject variability.

Le malattie cardiovascolari (CVDs) rappresentano la principale causa di morte in tutto il mondo: secondo i dati dell'OMS nel 2015 circa 17,7 milioni di persone sono morte per CVDs, ovvero il 31% di tutti i decessi a livello mondiale. Una delle caratteristiche istologiche che si riscontra con maggior frequenza nei casi di insufficienza cardiaca è la presenza di cicatrici fibrotiche nel miocardio, sviluppata come risultato del processo di riparazione dei tessuti cardiaci. Al giorno d'oggi, al fine di identificare e valutare la presenza e dimensione di cicatrici cardiache, la pratica clinica prevede l'uso dell'imaging medico e in particolare della risonanza magnetica cardiaca (CMR) con late Gadolinium enhancement (LGE). CMR-LGE comporta l'uso di gadolinio (Gd) che viene utilizzato come mezzo di contrasto ed iniettato per via endovenosa circa 10-20 minuti prima dell’esecuzione della CMR, in modo che esso sia già stato rimosso dal tessuto sano quando l’esame di imaging viene effettuato. Le immagini di CMR-LGE vengono quindi segmentate per individuare in ogni immagine i contorni di epicardio ed endocardio e, successivamente, del tessuto cicatriziale fibrotico. Attualmente, la segmentazione delle immagini CMR-LGE viene eseguita, manualmente o in maniera semi-automatica, da un operatore, sfruttando algoritmi di n-standard deviation (n-SD) e full width at half maximum. In questa tesi viene proposta l’applicazione di ENet [28], una rete neurale convoluzionale allenata con metodi di apprendimento supervisionato progettata per eseguire la segmentazione di tessuto cicatriziale in immagini CMR-LG. L’architettura di ENet è sviluppata su 6 livelli costituiti da blocchi convoluzionali e di Max Pooling e infine presenta un livello full-convolution; inoltre ENet utilizza il metodo di ottimizzazione Adam, che tiene conto sia della media che della varianza non centrata del gradiente della funzione di costo, per l'aggiornamento dei parametri durante il processo di apprendimento della rete. In questo lavoro, la rete ENet è stata testata con quattro protocolli sperimentali per la detezione dei contorni di epicardio ed endocardio, e delle cicatrici cardiache. Utilizzando la procedura Leave One Patient Out, in ogni protocollo la rete è stata allenata, dopo opportuno preprocessing, con un dataset contenente 250 immagini, ottenute da sequenze CMR-LGE di 30 pazienti, e le corrispondenti maschere binarie ottenute dalla segmentazione manuale di contorni epicardio-endocardio e delle cicatrici. Il Protocollo 1 (P1) utilizza la rete prendendo come input le immagini CMR-LGE con l’obbiettivo di identificare su di esse i contorni di epicardio ed endocardio. Il Protocollo 2 (P2) utilizza la rete prendendo come input le immagini CMR-LGE con l’obbiettivo di identificare su di esse i contorni delle cicatrici cardiache. Il Protocollo 3 (P3) utilizza la rete prendendo come input le immagini CMR-LGE moltiplicate per la corrispondente maschera binaria dei contorni di epicardio-endocardio, in modo da ridurre l’area di ricerca all’area del miocardio, con l’obbiettivo di identificare i contorni delle cicatrici cardiache. Il Protocollo 4 (P4) combina in serie il protocollo P1 e P3 con lo scopo di identificare le cicatrici cardiache sulle immagini CMR-LGE prese in ingresso. Per valutare la performance della rete nei protocolli, i risultati dei quattro protocolli sono stati valutati calcolando gli indici di accuratezza, sensibilità, specificità e, successivamente, è stato calcolato per l’analisi qualitativa il Dice Similarity Coefficient (DSC). Di seguito vengo riassunti i risultati dei quattro protocolli: • P1: L'accuratezza è risultata al 93,55% con un intervallo interquartile (IQR) del 1,38%, la specificità al 94,26% con un IQR di 1,67% e la sensibilità al 91,77% con un IQR del 4,35%. Il DSC è risultato al 85,52% con un IRQ di 7,59%. • P2: L'accuratezza è risultata al 95,79% con un intervallo interquartile (IQR) del 3,55%, la specificità al 97,31% con un IQR di 3,01% e la sensibilità al 68,77% con un IQR del 34,83%. Il DSC è risultato al 55,29% con un IRQ di 41,03%. • P3: L'accuratezza è risultata al 96,83% con un intervallo interquartile (IQR) del 3,26%, la specificità al 97,89% con un IQR di 2,93% e la sensibilità al 88,07% con un IQR del 17,84%. Il DSC è risultato al 71,25% con un IRQ di 31,82%. • P4: L'accuratezza è risultata al 95,07% con un intervallo interquartile (IQR) del 3,22%, la specificità al 96,9% con un IQR di 3,46% e la sensibilità al 72,86% con un IQR del 34,5%. Il DSC è risultato al 50,62% con un IRQ di 49,12%. Il P1 mostra risultati promettenti se confrontati con algoritmi semiautomatici e di deep learning presenti in letteratura (Yang et al. [48] DSC 0.75 ± 0.04, Sjögren et al. [36] DSC 0.85 ± 0.07, Tufvesson et al. [47] DSC 0.85 ± 0.08). Confrontando i risultati di P2, P3 e P4 con algoritmi presenti in letteratura si può affermare che i protocolli proposti si collochino nel range di DSC (0.44-0.85) dei risultati in letteratura, con P3 che mostra i risultati migliori. Dal confronto tra P2 e P3 si può notare come quest’ultimo raggiunga valori maggiori di accuratezza, sensibilità, specificità e DSC, dimostrando che limitando il contenuto informativo dell’immagine alla sola regione di interesse per la detezione delle cicatrici (i.e. regione del tessuto miocardio inclusa tra i contorni di epicardio ed endocardio) le performance della rete aumentano. Infine, è da notare che, combinando in serie P1 e P3, P4 risenta di un errore cumulativo ottenuto dai due modelli, e questo influenza considerevolmente i risultati del protocollo e giustifica il valore DSC dell’output della rete. In conclusione, i risultati di questo lavoro costituiscono un incoraggiante punto di partenza per la detezione del tessuto fibrotico in immagini CMR-LGE e danno una misura di come approcci di Deep Learning in questo ambito siano promettenti nell’ottica di ridurre l’intervento dell’operatore con conseguente riduzione dei tempi di elaborazione e della variabilità intra- e inter-soggetto.