Comparison of different fully-convolutional neural networks for automated left and right chamber segmentation in cardiac MRI

Cardiovascular diseases (CVDs) represents the first cause of death worldwide. In the European Union (EU) heart disease cause 1.8 million of deaths each year, which represents the 37% of all deaths. In 2015 more than 85 million people were living with CVD in the EU. Early detection and management is needed to reduce the mortality. Cardiac magnetic resonance (CMR) represents the gold standard in the diagnosis and management of cardiovascular disease. It is used to assess cardiac structure and function in non-invasive way. End-diastolic volume (EDV), end-systolic volume (ESV) of both ventricles and ejection fraction are the most common indicators of the functionality of the heart. One disadvantage of CMR is the post-processing of the exam where physicians in order to evaluate clinical measurements have to manually draw the contours of the ventricles which is time consuming and involves intra- inter-observer variability. For this reason, automatic contouring has been the focus of intense research over the last years, not only to reduce the time post exam but also to reach consistent and accurate segmentation of the LV and RV from MRI images. In this thesis it is presented a fully automated framework based of deep learning convolutional neural architectures. The goal is a comparison of different convolutional neural networks for automated left and right ventricular segmentation on short-axis cardiac MRI images and extract cardiac function parameters. The proposed architectures are fully convolutional (FCN), a variant of convolutional neural network that have become the stateof- the-art in automated segmentation, which makes these typology of network a valid choice for segmentation of cardiac structures. The work is divided in a first part where is presented the structure and functionality of the heart, and the principal semi-automated and fullyautomated methods for segmentation of ventricles. The second part of the thesis introduces the convolutional neural network and the five models of FCNs used. To evaluate the performance of each network were adopted five protocols, one for each network. The first protocol used the 2D U-Net network which can be considered as the gold standard for segmentation in medical application. The second protocol adopted a modified version of the U-Net, to evaluate if the up-sampling path might be reduced in complexity. The third protocol adopted the E-Net network which is normally used for real time segmentation in autonomous driving vehicles. The hypothesis is to evaluate if this network can adopt in xii medical context taking advantage of its high speed of segmenting and the reduced number of parameters. The four protocol introduced a modified version of the E-Net, with the addition of skip connection between downsampling path and upsampling path to preserve details. The last protocol used a simplified version of the modified U-Net, which is called light U-Net to reduce the complexity of the model that would be positive effect on the time of convergence, overfitting and easier to optimize the problem. The models were trained end-to-end using the automated cardiac diagnosis challenge (ACDC) 2017 dataset, the largest publicly available and fully annotated for cardiac MRI assessment. The dataset presents four pathologic classes of patient and one healthy group. For each patient are made available native images and their masks of the manual tracing for end-diastolic and end-systolic phase. The segmentation accuracy achieved by each model was evaluated in term of dice coefficient, Hausdorff distance and average symmetric surface distance. In addition, correlation (R-squared), bias and limits of agreement (LoA) to commonly measured clinical variables were calculated and reported for each network. The results of the five protocols are summarized below: - Protocol 1: For LV Dice score is 0.945(0.04), EF correlation of 0.929 with bias of 0.4 and LoA of (10.7, -9.9). For RV Dice score is 0.884(0.09), EF correlation of 0.852, bias of -6.9 and LoA of (7.3, -21.1). - Protocol 2: For LV Dice score is 0.941(0.04) and EF correlation of 0.96 with bias of -0.7 and LoA of (7.1, -8.5). For RV dice score is 0.9(0.07), EF correlation of 0.874, bias of -3.1 and LoA (9.9, -16.2). - Protocol 3: For LV Dice score is 0.935(0.04) and EF correlation of 0.947 with bias of 0.8 and LoA of (10.0, -8.4). For RV dice score is 0.876(0.09), EF correlation of 0.757, bias -5.1 and LoA of (13.2, -23.4). - Protocol 4: For LV Dice score is 0.939(0.03) and EF correlation of 0.967 with bias of -0.1 and LoA of (7.5, -7.7). For RV dice score is 0.879(0.09), EF correlation of 0.83 with bias of -4.2 and LoA of (10.9, -19.3). - Protocol 5: For LV Dice score is 0.938(0.04) and EF correlation of 0.934 with bias of 0.6 and LoA of (10.7, -9.6). For RV dice score is 0.891(0.07), with EF correlation of 0.867, bias -1.6 and LoA of (11.8, -15.0). xiii The models were trained with loss function weighted cross-entropy and ADAM optimizer. From the results it is possible to assert as FCNs represent a valid tool for segmentation able to reach performance in range of human, but further analysis is needed, for example using another dataset. Specifically, it was observed than one reason why model fails is due to a difficult to segment at the level of apex and basal region probably for the small size of the structures. It was not noted difference in performance among the different classes of patients. In conclusion the results of this thesis are encouraging for detection of left and right chamber in CMR image, with the modified U-Net able of being a valid alternative to the U-Net, and the E-Net able to be used in biomedical applications. Modified E-Net performs the E-Net on the right ventricle and myocardium, but no particularly significant changes have been recorded between the two networks. The light U-Net network instead is too simplified for the problem in question.

Le malattie cardiovascolari (CVDs) rappresentano la prima causa di morte nel mondo. Solo nell’Unione Europea problematiche cardiache causano 1.8 milioni di morti ogni anno, che rappresenta il 37% di tutti i morti. Nell’Unione Europea nel 2015 più di 85 milioni di persone vivevano con CVDs. Una rapida identificazione e gestione di queste problematiche è necessaria al fine di ridurne la mortalità. La risonanza magnetica nucleare (RMN) rappresenta il “gold standard” nella diagnosi e la valutazione di problematiche cardiache. È utilizzata per valutare la struttura e la funzione cardiaca in maniera non invasiva. Volume fine diastole e fine sistole per ventricolo destro e sinistro e frazione di eiezione (EF) sono gli indicatori più comunemente utilizzati per funzionalità cardiaca. Uno dei problemi della MRN è il lavoro da eseguire dopo l’esame, che tipicamente consiste nel medico che manualmente deve segmentare i contorni dei ventricoli al fine di calcolarne le misure cliniche d’interesse, ma richiede molto tempo e comporta variabilità intra ed interosservatore. Per questa ragione negli ultimi anni molte ricerche si sono focalizzate sulla detenzione automatica dei ventricoli, per ridurre i tempi dopo l’esame e migliorarne l’accuratezza della segmentazione. In questa tesi è presentato un lavoro completamente automatico basato su architetture neurali convoluzionali. L’obiettivo è fare un confronto tra diverse reti convoluzionali per una segmentazione automatica di ventricolo destro e sinistro su immagini cardiache di RMN su asse corto ed estrarne i parametri di valutazione della funzionalità cardiaca. Le architetture proposte sono completamente convoluzionali (FCN), una variante delle reti convoluzionali, che sono diventate lo stato dell’arte nella segmentazione automatica e fa di questa tipologia di rete una valida scelta per detenzione dei ventricoli. Il lavoro è stato diviso in una prima parte dove è presentata la struttura e la funzionalità del cuore e sui principali metodi semiautomatici e completamente automatici per la segmentazione dei ventricoli. La seconda parte della tesi introduce le reti neurali convoluzionali e cinque modelli di rete utilizzati. Per valutare le capacità di ogni rete 5 protocolli sono stati considerati, uno per ciascuna rete. Il primo protocollo usa la rete 2D U-Net che può essere considerata il “gold standard” per segmentazioni in campo medicale. Il secondo protocollo adotta una modificata versione della U-Net per valutare se la complessità del percorso di upsampling può essere ridotta. Il terzo protocollo adotta la rete E-Net che è normalmente utilizzata per segmentare xv frame in tempo reale per veicoli a guida autonoma. L’ipotesi è valutare se questa rete può essere adottata anche in contesti medicali, prendendo vantaggio dalla sua alta velocità di allenamento e il ridotto numero di parametri. Il quarto protocollo introduce una modifica alla E-Net con le “skip connections” tra percorso di upsampling e percorso di downsampling, al fine di preservare dettagli. L’ultimo protocollo utilizza una versione semplificata della modificata U-Net, soprannominata light U-Net per ridurre la complessità del modello con effetto positivo su tempo di convergenza, ridurre le possibilità della rete di overfittare sui dati di allenamento e una più semplice optimizzazione del problema. I modelli sono stati allenati end-to-end usando il dataset del automated cardiac diagnosis challenge (ACDC) del 2017, il più largo dataset pubblicamente disponibile e pienamente annotato per valutazioni della risonanza magnetica cardiaca. Il dataset comprende 4 pazienti patologici e un gruppo di soggetti sani. Per ogni paziente sono rese disponibili le immagini native e le maschere dei contorni manuali a fine diastole e fine sistole. Per valutare l’accuratezza della segmentazione raggiunta da ogni modello sono state considerate come metriche, il coefficiente di Dice, la distanza di Hausdorff e la Average symmetric surface distance (ASSD). In aggiunta, la correlazione (R quadro), il bias e i limite di concordanza (LoA) sono calcolate per le principali variabili cliniche e riportare per ogni rete. I risultati dei 5 protocolli sono sintetizzati di seguito: - Protocollo 1: Per ventricolo sinistro Dice score è di 0.945(0.04), correlazione su EF di 0.929 com bias di 0.4 e LoA di (10.7, -9.9). Per ventricolo destro Dice score è di 0.884(0.09), correlazione su EF di 0.852, bias di -6.9 e LoA di (7.3, -21.1). - Protocollo 2: Per ventricolo sinistro Dice score è di 0.941(0.04), correlazione su EF di 0.96 con bias di -0.7 e LoA di (7.1, -8.5). Per ventricolo destro Dice score è di 0.9(0.07), correlazione su EF di 0.874, bias di -3.1 e LoA di (9.9, -16.2). - Protocollo 3: Per ventricolo sinistro Dice score è di 0.935(0.04) correlazione su EF di 0.947 con bias di 0.8 e LoA di (10.0, -8.4). Per ventricolo destro Dice score è di 0.876(0.09), correlazione su EF di 0.757, bias -5.1 e LoA di (13.2, -23.4). - Protocollo 4: : Per ventricolo sinistro Dice score è di 0.939(0.03), correlazione su EF di 0.967 con bias di -0.1 e LoA di (7.5, -7.7). Per ventricolo destro Dice score è di 0.879(0.09), correlazione su EF di 0.83 con bias di -4.2 e LoA di (10.9, -19.3). xvi - Protocollo 5: : Per ventricolo sinistro Dice score è di 0.938(0.04) e correlazione su EF di 0.934 con bias di 0.6 e LoA di (10.7, -9.6). Per ventricolo destro Dice score è di 0.891(0.07), correlazione su EF di 0.867, bias -1.6 e LoA di (11.8, -15.0). I modelli sono stati allenati con funzione di errore cross entropy pesata e optimizzatore ADAM. Da questi risultati si può affermare come le reti pienamente convoluzionali rappresentano un valido strumento per la segmentazione capaci di raggiungere performance nel range degli umani ma ulteriori analisi sono necessarie per esempio usando altri datasets. Specificatamente è stato osservato che una delle possibili motivazioni perché il modello sbaglia a segmentare è dato dalla maggiore difficoltà riscontrata a livello della base e dell’apice del cuore, probabilmente per via delle piccole dimensioni delle strutture. Non è stata riscontrata differenza nelle prestazioni tra le diverse classi di pazienti. In conclusione i risultati ottenuti sono incoraggianti per la detenzione dei due ventricoli in immagini di risonanza magnetica, con la modificata rete U-Net in grado di essere una valida alternativa alla U-Net, e la rete E-Net capace di performare anche in applicazioni biomediche. La modificata E-Net ottiene risultati migliori della E-Net su ventricolo destro e miocardio, ma non si sono registrate particolari variazioni significative tra le due reti. La rete light U-Net invece risulta troppo semplificata per il problema in esame.