Brain magnetic resonance imaging generation using generative adversarial networks

Magnetic Resonance Imaging (MRI) is nowadays one of the most common medical imaging techniques, due to the non-invasive nature of this type of scan that can acquire many modalities (or sequences), each one with a different image appearance and unique insights about a particular disease. However, it is not always possible to obtain all the sequences required, due to many issues such as prohibitive scan times or allergies to contrast agents. To overcome this problem and thanks to the recent improvements in Deep Learning, in the last few years researchers have been studying the applicability of Generative Adversarial Network (GAN) to synthesize the missing modalities. Our work proposes a detailed study that aims to demonstrate the power of GANs in generating realistic MRI scans of brain tumors through the implementation of different models. We trained in particular two kind of networks which differ from the number of sequences received in input, using a dataset composed by 274 different volumes from subjects with brain tumor, and, among a set of different evaluation metrics implemented to test our results, we validated the quality of the predicted images using also a segmentation model. In addition, we analysed the GANs trained by performing some experiments to understand how the information passes through the generator network. Our results show that the synthesized sequences are highly accurate, realistic and in some cases indistinguishable from true brain slices of the dataset, highlighting the advantage of multi-modal models that, compared to the unimodal ones, can exploit the correlation between available sequences. Moreover, they demonstrate the effectiveness of skip connections and their crucial role in the generative process by showing the significant degradation in the performances, analysed in both a qualitative and quantitative way, when these channels are turned off or perturbed.

L’imaging a risonanza magnetica (MRI) è oggi una delle più comuni tecniche di generazione di immagini mediche, per via della natura non invasiva di questo tipo di scansione che permette di acquisire varie modalità (o sequenze) della parte del corpo scansionata, ognuna diversa dall’altra per livello di risoluzione e contrasto utilizzato. Tuttavia, non è sempre possibile ottenere tutte le sequenze richieste, a causa di molteplici problemi, tra cui i tempi di scansione proibitivi o le allergie dei pazienti agli agenti di contrasto. Per ovviare a questo problema e grazie ai recenti miglioramenti nel campo del Deep Learning, negli ultimi anni i ricercatori hanno studiato l’applicabilità delle Reti Antagoniste Generative (GAN) alla generazione delle modalità mancanti. Il nostro lavoro propone uno studio dettagliato che mira a dimostrare l’abilità delle GAN nel generare scansioni MRI realistiche di tumori cerebrali attraverso l’implementazione di diversi modelli. Abbiamo allenato in particolare due tipi di reti che differiscono per il numero di sequenze ricevute in input, utilizzando un dataset composto da 274 diversi volumi appartenenti a pazienti con tumori cerebrali e, tra una serie di diverse metriche implementate per valutare i nostri risultati, abbiamo validato la qualità dell’immagine generata dalla rete usando anche un modello di segmentazione. Inoltre, abbiamo analizzato le GAN addestrate, eseguendo alcuni esperimenti per capire come il contenuto informativo ricevuto in input passi attraverso il generatore, ovvero una delle due reti neurali che compongono una GAN. I nostri risultati dimostrano che le sequenze sintetizzate sono altamente accurate, realistiche e in alcuni casi indistinguibili dalle immagini provenienti dal dataset, evidenziando il vantaggio dei modelli multi- input che, rispetto a quelli single-input, possono sfruttare la correlazione presente tra le sequenze che sono disponibili. Inoltre, dimostrano l’efficacia delle skip connections e il loro ruolo fondamentale nel processo generativo mostrando come, spegnendo o perturbando i canali, le prestazioni della rete subiscano un calo significativo.