Unbalanced MRI cross-modality synthesis with CycleGAN

Medical imagining analysis is nowadays one of the most common tools adopted by the medical staff to identify a patient's disease and provide than a more accurate treatment. Magnetic Resonance Imagining (MRI) is a widely adopted technology that can produce highly detailed images of every part of the human body. It's success comes from its non-invasive and safe nature, in fact, it uses Radio Frequency (RF) which are harmless and can be used on every patients. This techniques can produce multiple modality, each providing different insights about the scanned region. Unfortunately, it is not always possible to acquire all the needed sequences, due to expenses or patient allergies to contrast agents. Being able to synthesise these missing modalities would be of extreme interest. To this end, many studies have been carried out, but the most important one was Pix2Pix, a framework derived from Generative Adversarial Networks (GAN), which was able to achieve great results in the Image-to-Image translation task. Nevertheless, this architecture is designed to work only on paired datasets. In this work we adopted the CycleGAN framework, a network introduced by Zhu et al. and built upon Pix2Pix, able to perform Image-to-Image translation even in absence of paired data. In particular, we tested the performances of this model on two unpaired datasets, a balanced and an unbalanced one, derived from BRATS2019, a paired dataset containing 4 different MRI volume for each patient present in the dataset.

L'analisi di immagini mediche è oggigiorno uno degli strumenti più comunemente utilizzati dallo staff medico per identificare un disturbo di un paziente ed offrirne poi un trattamento adeguato. L'imaging a risonanza magnetica (MRI) è una tecnologia ampiamente utilizzata in grado di produrre immagini dettagliate di qualunque parte del corpo umano. Il suo successo deriva dalla sua natura sicura e non invasiva, infatti, utilizza radiofrequenze (RF) che non sono pericolose per l'uomo e possono quindi essere usate su ogni paziente. Questa tecnologia può produrre molteplici modalità, ciascuna delle quali fornisce dettagli unici sulla regione analizzata. Sfortunatamente, non è sempre possibile acquisire tutte le sequenze necessarie, a causa dei costi elevati o di allergie dei pazienti ai mezzi di contrasto. Essere in grado di sintetizzare queste modalità mancanti sarebbe quindi di grande aiuto. A questo fine, sono stati condotti diversi studi, ma il più importante è Pix2Pix, un framework derivato dalle reti generative avversarie (GAN), in grado di ottenere grandi risultati nella trasformazione di immagini da una modalità ad un'altra. Tuttavia, questa architettura è stata progettata per funzionare in caso di dataset accoppiati. In questo lavoro abbiamo quindi utilizzato un CycleGAN, una rete neurale introdotta da Zhu et al. e basata su Pix2Pix, in grado di trasformare immagini, da una modalità all'altra, anche in assenza di dati accoppiati. In particolare abbiamo testato le performance di questo modello su due dataset non accoppiati, uno bilanciato e uno sbilanciato, derivati da BRATS2019, un dataset accoppiato contenente 4 diversi volumi di MRI per ciascun paziente presente nel dataset.