Generation of synthetic CT scan from MRI using deep learning

CT and MRI scans are two common methods for acquiring medical images and performing diagnosis or treatment planning for patients. Although they have specific applications, as they allow to highlight different internal body structures, sometimes it might be necessary to perform both of them, unfortunately, this can be time and cost demanding and physically and mentally stressful for the patients. For this reason, we studied, in collaboration with Humanitas Research Hospital, the behavior of deep learning techniques like the CycleGAN in order to generate synthetic CT scans from real MRI scans. In particular, we used two different architectures: a classical CyclaGAN and a multi-input CycleGAN that receives 2 or 3 different types of MRI scans and combines them in order to extract more details to generate the CT scan. We studied the behavior of these networks on the abdominal region of the body, with different MRI modalities, showing how T1-weighted MRI perform very well in the desired task and how in particular the most promising way is to use the combination of T1-weighted MRI in-phase and out-of-phase scans as a 2 input modality. We also proved that it is possible to generate good results both with and without contrast injection CT scans. We tested our results with different evaluation metrics, such as FID or KL divergence, aimed to compare the obtained distribution of fake images with the one of real CT scans. We studied both visually and quantitatively how the results were realistic and coherent with the input image. We also described which are the strengths and weaknesses of our models, showing how some regions are better synthesized than others. To evaluate our results we performed a user study in collaboration with Humanitas doctors that were subjected to an image recognition test in order to understand how much our generated scans look realistic.

Le scansioni CT e MRI sono due popolari metodi per l'acquisizione di immagini mediche e per fare diagnosi o pianificare trattamenti nei pazienti, entrambe hanno delle specifiche applicazioni. Essendo in grado di evidenziare diverse strutture corporee, a volte può essere necessario eseguirle entrambe, questo richiede un costo economico e di tempo, oltre a uno stress fisico o psicologico a cui sottoporre il paziente, per questi motivi abbiamo studiato, in collaborazione con l'Istituto Clinico Humanitas, il comportamento di tecniche di deep learning come le CycleGAN per la generazione di immagini CT sintetiche partendo dalle rispettive MRI. Abbiamo lavorato con due diverse architetture, una CycleGAN classica e una CycleGAN in grado con multiple immagini in input, che ricevendo due o tre diversi tipi di MRI li combina per estrarre più informazioni e generare CT più dettagliate. Abbiamo lavorato con immagini della regione addominale del corpo umano, studiano il comportamento delle due architetture con diverse modalità di immagini MRI, dimostrando come le MRI pesate in T1 ottengono ottimi risultati e come il modello più promettente sia l'utilizzo di MRI T1 in fase e fuori fase combinate come 2 input. Abbiamo anche dimostrato come sia possibile generare buone immagini CT in modalità con o senza contrasto. Abbiamo provato i nostri risultati con metriche di validazione, come l'FID o la divergenza di KL, con lo scopo di confrontare la distribuzione delle immagini generate con quella di vere scansioni CT. Analizzando visivamente e quantitativamente i risultati abbiamo verificato quanto le immagini generate fossero accurate e coerenti con le immagini MRI di input, e quali fossero le debolezze e i punti di forza dei vari modelli, dimostrando quali regioni e organi ottengono risultati più accurati. Abbiamo infine svolto uno studio sulla qualità delle immagini grazie alla collaborazione di medici di Humanitas, i quali sono stati sottoposti a un test di riconoscimento di immagini con lo scopo di valutare quanto le immagini sintetiche siano distinguibili dalle CT reali.