Towards a comprehensive application of deep learning methods in medical imaging: semantic segmentation, features extraction, synthetic image generation

In the multifaceted world of Medical Imaging, the increasingly sophisticated techniques and the advancement of medical technology call for augmented analysis capabilities. Deep Learning comes to the rescue, providing a new set of tools to tackle some of the most challenging problems exploiting the power of data: in the last decade, as a cornerstone of AI techniques, it has proven to be the most valuable and revolutionary tool in the field of Computer Vision, showcasing the potential of its models and algorithms in the most various tasks, ranging from image classification to semantic segmentation, passing through object detection and images generation. In this dissertation, the focus is on some of these techniques, taking on a series of tasks in Medical image analysis from the everyday clinical setting that can be sped up, improved, or eased with the help of such tools. In particular, the works focus on three main research lines: semantic segmentation of organs and anatomical structures, feature extractions from chest X-rays, and synthetic CT generation from MRI images. Concerning segmentation models, several analyses are performed to understand the impact of certain design choices in the training and testing of segmentation models, such as input dimensionality (2D, 3D), training paradigm (supervised, adversarial) and ensembling techniques; among the results obtained, some surprising findings are highlighted, such as the fact that 2D models can outperform 3D ones in some cases, but all the elements still point to the fact that the biggest difference maker is data availability. Regarding features extraction, a method based on Variational Autoencoder is proposed to extract general and informative features from chest x-rays, to have a method capable of overcoming the bias that data from a single source usually creates in the medical field, demonstrating their promising capabilities in classification tasks. Finally, a method for synthetic CT generation from MRI images is proposed, based on a CycleGAN architecture, to provide a viable tool initially for data augmentation, but given the promising result, with a future insight on possible clinical applications to spare patients from the stress and radiation exposure of a CT scan when an MRI is already available; a relevant result from this line is related to realism of the generated CT images, which, according to our tests, are extremely difficult to distinguish from real ones by experts. In the end, many of the results obtained show very promising approaches for the future of AI in the field of Medical Imaging and shed light on some aspects of the design choices, their advantages and disadvantages in different scenarios, and some of the challenges that still need to be tackled in different areas.

Nel mondo dell'Imaging Medico, le tecniche sempre più sofisticate e l'avanzamento della tecnologia medica richiedono capacità di analisi potenziate. Il Deep Learning viene in soccorso, fornendo un nuovo insieme di strumenti per affrontare alcuni dei problemi più sfidanti sfruttando il potere dei dati: nell'ultimo decennio, come pietra miliare delle tecniche di intelligenza artificiale, si è dimostrato lo strumento più prezioso e rivoluzionario nel campo della Computer Vision, mostrando il potenziale dei suoi modelli e algoritmi nelle più varie attività, che vanno dalla classificazione delle immagini alla segmentazione semantica, passando per il rilevamento di oggetti e la generazione di immagini. In questa tesi, l'attenzione è focalizzata su alcune di queste tecniche, affrontando una serie di compiti nell'analisi delle immagini mediche nell'ambito clinico quotidiano che possono essere accelerati, migliorati o facilitati con l'ausilio di tali strumenti. In particolare, i lavori si concentrano su tre principali linee di ricerca: la segmentazione semantica di organi e strutture anatomiche, l'estrazione di caratteristiche dalle radiografie del torace e la generazione di CT sintetiche a partire da immagini MRI. Per quanto riguarda i modelli di segmentazione, vengono effettuate diverse analisi per comprendere l'impatto di alcune scelte di progettazione nella formazione e nel test dei modelli di segmentazione, come la dimensionalità dell'input (2D, 3D), il paradigma di formazione (supervisionato, avversario) e le tecniche di ensemble; tra i risultati ottenuti, alcuni risultati sorprendenti vengono evidenziati, come il fatto che i modelli 2D possono superare quelli 3D in alcuni casi, ma tutti gli elementi indicano ancora che il fattore più importante è la disponibilità dei dati. Per quanto riguarda l'estrazione delle caratteristiche, viene proposto un metodo basato sull'Autoencoder Variational per estrarre caratteristiche generali e informative dalle radiografie del torace, per avere un metodo capace di superare il pregiudizio che i dati provenienti da una singola fonte solitamente creano nel campo medico, dimostrando le loro capacità promettenti nei compiti di classificazione. Infine, viene proposto un metodo per la generazione di CT sintetiche a partire da immagini MRI, basato su un'architettura CycleGAN, per fornire uno strumento inizialmente utile per l'incremento dei dati, ma, dati i risultati promettenti, con uno sguardo futuro su possibili applicazioni cliniche per risparmiare ai pazienti lo stress e l'esposizione alle radiazioni di una scansione CT quando è già disponibile una MRI; un risultato rilevante da questa linea è legato al realismo delle immagini CT generate, che, secondo i nostri test, sono estremamente difficili da distinguere da quelle reali per gli esperti. Alla fine, molti dei risultati ottenuti mostrano approcci molto promettenti per il futuro dell'IA nel campo dell'Imaging Medico e gettano luce su alcuni aspetti delle scelte di progettazione, i loro vantaggi e svantaggi in diversi scenari, e alcune delle sfide che devono ancora essere affrontate in diverse aree.