CT Segmentation of Organs at Risk with Generative Adversarial Networks

The segmentation of Organs at Risk from Computed Tomography (CT) is a very complex and time-consuming task for specialized radiologists. This practice is fundamental in many clinical treatments, in particular for radiotherapy; so, the automation of this process has become of strong interest for the medical community. Since their invention, Convolutional Neural Networks have impressed for their image processing ability, in particular image segmentation. Recently Generative Adversarial Networks (GAN) has been invented, an innovative approach for image generation very interesting to evaluate and compare with traditional architectures of Convolutional Neural Networks, in particular for the segmentation of medical images. In this work 3 GAN models are developed, inspired by the work LGAN, which share the same generator but with different discriminator networks. These models are compared, as fairly as possible, with some classical Fully Convolutional Networks such as SE-ResUnet and DeepLabV3 using a dataset composed of 50 CT scans of different patients with a total number of 3861 images. An approach for multi-class segmentation is also analyzed. The comparison is carried out on 6 Organs at Risk using different evaluation metrics including the Dice Score and the Hausdorff Distance which are the most important for the evaluation of medical image segmentation. The organs considered are the Right Lung, the Left Lung, the Trachea, the Esophagus, the Heart, and the Spinal Cord, among which the Trachea and the Esophagus are the most complex to segment given their shape and size. The results showed a clear increase in segmentation performance in GAN approaches on 4 of the 6 organs analyzed, including the Trachea and the Esophagus with the highest improvements. The multi-class method using GAN models also showed improvements compared to using traditional models.

La segmentazione di Organi a Rischio dalle Tomografie Computerizzate (TC) è un task particolarmente complicato e che richiede molto tempo da parte di radiologi specializzati. Questa pratica è fondamentale in molti trattamenti clinici, in particolare per la radioterapia; quindi, l'automazione di tale procedura è diventata di forte interesse per la comunità medica. Fin dalla loro invenzione le Reti Neurali Convoluzionali hanno colpito per la loro capacità di elaborazione delle immagini, in particolare nella segmentazione di immagini. Recentemente è stata inventata la Rete Generativa Avversaria (GAN) un nuovo approccio per la generazione delle immagini molto interessante da valutare e da confrontare con le architetture tradizionali di Reti Neurali Convoluzionali in particolare per la segmentazione delle immagini mediche. In questo lavoro vengono sviluppati 3 modelli di GAN, inspirati dal lavoro LGAN, che hanno in comune lo stesso generatore ma con diversi discriminatori. Questi modelli vengono confrontati, nel modo più equo possibile, con alcune classiche "Fully Convolutional Networks" come SE-ResUnet e DeepLabV3 utilizzando un dataset costituito da 50 scansioni TC di diversi pazienti per un totale di 3861 immagini. È stato inoltre analizzato un approccio per la segmentazione multi-classe. Il confronto viene effettuato su 6 Organi a Rischio utilizzando diverse metriche di valutazione, tra le quali la Dice Score e la Hausdorff Distance che sono le più importanti per la valutazione della segmentazione di immagini mediche. Gli organi considerati sono il Polmone Destro, il Polmone Sinistro, la Trachea, l'Esofago, Cuore e il Midollo Spinale, tra i quali la Trachea e l’Esofago sono i più complessi da segmentare per la loro forma e la loro dimensione. I risultati hanno mostrato un chiaro aumento delle prestazioni di segmentazione negli approcci GAN su 4 dei 6 organi analizzati tra i cui la Trachea e l’Esofago hanno i più alti miglioramenti. Anche il metodo multi-classe utilizzando i modelli GAN ha mostrato dei miglioramenti rispetto all'utilizzo di modelli tradizionali.