Deep learning approaches interpreted through GradCAM for scar detection in contrast-free cine cardiac magnetic resonance images

Ischemic cardiomyopathy results in the formation of fibrotic tissue in the myocardium, and cardiovascular magnetic resonance (CMR) is considered the diagnostic tool of choice for the evaluation of these scar. The gold standard of clinical practice involves the use of Gadolinium-based contrast agent taking advantage of the late gadolinium enhancement (LGE) method to differentiate tissues. Because Gd ions are similar in size to calcium ions, they can interfere with calcium-dependent processes by remaining in the body for prolonged periods, thus resulting in toxicity. Recently, exposure to Gd has been associated with a serious adverse event called nephrogenic systemic fibrosis (NSF) when repeated high doses are used in short intervals of time and in the presence of severe renal impairment. Due to the disadvantages of contrast medium, with this study, alternative techniques were evaluated in order to derive information regarding the identification of fibrotic tissue in the myocardium. Several deep learning (DL) algorithms were tested to confirm the ability of such models in detecting the presence of scar in the myocardium in cine CMR sequences that have the characteristic of being agent-free, maintaining LGE images as ground truth. DL models automatically extract static features from cine images. To add the dynamic information of the left ventricular cardiac wall motion, parametric images concentrating the temporal information of the sequence in one frame were computed. Two parametric images of amplitude and phase wall motion were derived following the method based on Fourier analysis and the method based on monogenic signal. Different combinations of these types of images were used to define datasets utilized to feed the network in order to identify the combination that provides the best results. Besides testing pre-trained networks by exploiting the transfer learning method, an innovative element of this work involved implementing new convolutional networks from scratch with the intent of understanding whether classification performance could improve. Starting from similar work previously developed, in order to faithfully reproduce the protocols and make the results comparable, further analysis involved dividing the myocardium into sectors so as to build new datasets to be tested with the networks trained from scratch. Finally, since neural networks are poorly interpretable, among multiple methods that provide a visual explanation of CNN, gradient-weighted class activation mapping (GradCAM) was chosen for a final evaluation. The other major innovation of this work involved the proposal of different approaches to be able to associate quantitative information with the typical qualitative evaluation provided by GradCAM. The present work demonstrated promizing results in all aspects analyzed. The ability of CNNs to localize fibrotic tissue in the myocardium was confirmed. The increased performance of the algorithms when dynamic information of myocardial wall motion is added to static information was demonstrated. The superiority of the results of networks trailed from scratch for a specific task compared to networks pre-trained for different tasks and then adapted to the specific problem was shown. Finally, although the attempt to quantify GradCAM analysis is only preliminary, the results showed promise to lead the way for further efforts in this direction.

La cardiomiopatia ischemica comporta la formazione di tessuto fibrotico nel miocardio e la risonanza magnetica cardiovascolare (CMR) è considerata lo strumento diagnostico di scelta per la valutazione di queste cicatrici. Il gold standard della pratica clinica prevede l'uso di un agente di contrasto a base di gadolinio, sfruttando il metodo del late gadolinium enhancement (LGE) per differenziare i tessuti. Poiché gli ioni Gd hanno dimensioni simili a quelle degli ioni calcio, possono interferire con i processi calcio-dipendenti rimanendo nell'organismo per periodi prolungati, con conseguente tossicità. Recentemente, l'esposizione al Gd è stata associata a un grave evento avverso chiamato fibrosi sistemica nefrogenica (NSF) in caso di uso ripetuto di dosi elevate in brevi intervalli di tempo e in presenza di grave insufficienza renale. A causa degli svantaggi del mezzo di contrasto, in questo studio sono state valutate tecniche alternative per ricavare informazioni sull'identificazione del tessuto fibrotico nel miocardio. Sono stati testati diversi algoritmi di deep learning (DL) per confermare la capacità di tali modelli nel rilevare la presenza di cicatrici nel miocardio in sequenze CMR cine che hanno la caratteristica di essere prive di agenti, mantenendo le immagini LGE come ground truth. I modelli DL estraggono automaticamente le caratteristiche statiche dalle immagini cine. Per aggiungere le informazioni dinamiche del movimento della parete cardiaca del ventricolo sinistro, sono state calcolate immagini parametriche che concentrano le informazioni temporali della sequenza in un frame. Sono state ricavate due immagini parametriche del movimento della parete in ampiezza e fase, seguendo il metodo basato sull'analisi di Fourier e il metodo basato sul segnale monogenico. Diverse combinazioni di questi tipi di immagini sono state utilizzate per definire i set di dati impiegati per alimentare la rete, al fine di identificare la combinazione che fornisce i risultati migliori. Oltre a testare le reti pre-addestrate sfruttando il metodo del transfer learning, un elemento innovativo di questo lavoro è stato l'implementazione da zero di nuove reti convoluzionali, con l'intento di capire se le prestazioni di classificazione potessero migliorare. Partendo da lavori simili sviluppati in precedenza, per riprodurre fedelmente i protocolli e rendere i risultati confrontabili, un' ulteriore analisi ha previsto la suddivisione del miocardio in settori, in modo da costruire nuovi dataset da testare con le reti addestrate ex novo. Infine, poiché le reti neurali sono scarsamente interpretabili, tra i vari metodi che forniscono una spiegazione visiva delle CNN, è stato scelto il GradCAM (gradient-weighted class activation mapping) per una valutazione finale. L'altra grande innovazione di questo lavoro è stata la proposta di diversi approcci per poter associare informazioni quantitative alla tipica valutazione qualitativa fornita da GradCAM. Il presente lavoro ha dimostrato risultati promettenti in tutti gli aspetti analizzati. È stata confermata la capacità delle CNN di localizzare il tessuto fibrotico nel miocardio. È stato dimostrato l'aumento delle prestazioni degli algoritmi quando le informazioni dinamiche del movimento della parete miocardica vengono aggiunte a quelle statiche. È stata dimostrata la superiorità dei risultati di reti addestrate ex novo per un compito specifico rispetto a reti pre-addestrate per compiti diversi e poi adattate al problema specifico. Infine, sebbene il tentativo di quantificare l'analisi GradCAM sia solo preliminare, i risultati ottenuti sono promettenti per aprire la strada a ulteriori sforzi in questa direzione.