Conditional Random Field(CRF) guides Generative Adversarial Networks(GANs) for memory-efficient 3D high-resolution medical image synthesis

Artificial Intelligence (AI), particularly deep learning, has revolutionized medical imaging, enabling unprecedented accuracy and efficiency in image analysis, diagnosis, and synthesis. Among AI techniques, Generative Adversarial Networks (GANs) hold significant promise for medical imaging applications, including the generation of high-resolution 3D medical images. However, current 3D GAN models often struggle with GPU memory limitations, resulting in either low-resolution outputs or patchy artifacts. In this work, we propose a novel, memory-efficient GAN model guided by Conditional Random Fields (CRFs) for synthesizing consistent high-resolution 3D medical images. Our approach divides the generator into two stages during training. The first stage produces an intermediate representation, to which a CRF is applied to capture dependencies and correlations. In the second stage, the generator uses this intermediate representation to create random sub-volumes of the final image. This two-part structure offers two key advantages: it allows the CRF to model correlations directly from the features being optimized by the generator, and it enables the generator to produce full high-resolution images during inference. The potential of this model is tested on MRI and CT scan generation. For evaluation, we used statistical metrics and conducted a user study with doctors from Pavia University. Additionally, we assessed the model's computational efficiency. Experiments on Lung CT and Brain MRI datasets demonstrate that our model not only surpasses state-of-the-art methods in performance but also reduces memory usage and computational complexity.

L’intelligenza artificiale (AI), in particolare il deep learning, ha rivoluzionato l’imaging medico, consentendo precisione ed efficienza senza precedenti nell’analisi, diagnosi e sintesi delle immagini. Tra le tecniche di intelligenza artificiale, le Generative Adversarial Networks (GAN) rappresentano una promessa significativa per le applicazioni di imaging medico, inclusa la generazione di immagini mediche 3D ad alta risoluzione. Tuttavia, gli attuali modelli 3D GAN spesso hanno problemi con le limitazioni della memoria della GPU, con conseguenti risultati a bassa risoluzione o artefatti irregolari. In questo lavoro, proponiamo un nuovo modello GAN efficiente in termini di memoria guidato da campi casuali condizionali (CRF) per sintetizzare immagini mediche 3D coerenti ad alta risoluzione. Il nostro approccio divide il generatore in due fasi durante l'addestramento. La prima fase produce una rappresentazione intermedia, alla quale viene applicata una CRF per catturare dipendenze e correlazioni. Nella seconda fase, il generatore utilizza questa rappresentazione intermedia per creare sottovolumi casuali dell'immagine finale. Questa struttura in due parti offre due vantaggi chiave: consente al CRF di modellare le correlazioni direttamente dalle caratteristiche ottimizzate dal generatore e consente al generatore di produrre immagini complete ad alta risoluzione durante l'inferenza. Il potenziale di questo modello viene testato sulla generazione di scansioni MRI e TC. Per la valutazione abbiamo utilizzato parametri statistici e condotto uno studio sugli utenti con medici dell'Università di Pavia. Inoltre, abbiamo valutato l'efficienza computazionale del modello. Esperimenti su set di dati di TC polmonare e MRI cerebrale dimostrano che il nostro modello non solo supera i metodi all'avanguardia in termini di prestazioni, ma riduce anche l'utilizzo della memoria e la complessità computazionale.