Enhancing medical image segmentation with conditional random fields and uncertainty-aware deep learning

Medical image segmentation is fundamental for identifying structures and planning interventions; it also enables the calculation of image-based biomarkers, such as volume, shape indices and intensity-related parameters, which are useful for diagnosis. Since manual segmentation is very time-consuming, research has focused on automatic techniques, with a growing spread of neural networks. Given the highly critical medical context, it is essential for neural networks to be very accurate, which requires increasingly complex architectures, such as 3D networks. However, in the medical field, the scarcity of well-labeled data limits the training of such networks, still favoring the use of 2D models, which are unable to capture the relationships between slices of volumetric images. To address this issue, refinement methods have been proposed, such as Conditional Random Fields (CRF), which operate on the entire volume and allow recovery of part of the information lost by 2D networks. This thesis proposes an innovative approach that consists in using uncertainty, i.e. the confidence level of the network in its segmentation, as additional information to be passed to a neural network with a CRF layer, with the aim of helping the CRF determine which regions to trust in refining the image. Two methodologies were proposed: in the first uncertainty modifies the prediction passed to the CRF, while in the second it guides the CRF in choosing which voxels to use. The two approaches did not produce significant variations in the Dice score compared to using the CRF alone, but the first methodology appeared more promising than the second, providing better results. Furthermore, it was observed that different types of uncertainty contribute in different ways, highlighting that a more accurate estimation of uncertainty could provide greater benefits. In conclusion, the proposed methods did not lead to significant improvements compared to the starting point, while leaving open the possibility that a more precise estimation of uncertainty could result in more satisfactory outcomes.

La segmentazione delle immagini mediche è fondamentale per identificare strutture e pianificare interventi, permette di calcolare biomarcatori basati sull’immagine, come il volume, indici di forma e parametri legati all'intensità, utili per fare diagnosi. Poiché la segmentazione manuale è molto dispendiosa in termini di tempo, la ricerca si è orientata verso tecniche automatiche, con crescente diffusione di reti neurali. Essendo il contesto medico estremamente critico è fondamentale che le reti neurali siano molto precise, quindi richiede di avere delle reti sempre più complesse, come le reti 3D. Tuttavia in ambito medico la scarsità di dati ben etichettati limita l’addestramento di tali reti, favorendo ancora l’uso di modelli 2D, incapaci però di catturare le relazioni tra le sezioni di immagini volumetriche. Per ovviare a questo problema sono stati proposti metodi di rifinitura, come il Conditional Random Fields (CRF), che operano sull’intero volume e permettono di recuperare parte dell’informazione persa dalla rete 2D. In questa tesi viene proposto un approccio innovativo che consiste nell’utilizzare l’incertezza, ovvero il grado di confidenza della rete nella sua segmentazione, come informazione aggiuntiva da passare ad una rete neurale costituita da un layer di CRF, con l'obiettivo di aiutare il CRF a determinare le regioni di cui fidarsi per rifinire l'immagine. Sono state proposte due metodologie: nella prima l’incertezza modifica la predizione passata al CRF, nella seconda guida il CRF nella scelta dei voxel da usare. I due approcci non hanno prodotto variazioni rilevanti nel valore di Dice rispetto al CRF da solo, ma la prima metodologia è risultata più promettente della seconda, fornendo risultati migliori. Inoltre si è osservato che diverse tipologie d'incertezze danno un diverso contributo, evidenziando come una stima più accurata dell’incertezza possa fornire un contributo maggiore. In conclusione, i metodi proposti non hanno portato a miglioramenti significativi rispetto al punto di partenza, pur lasciando aperta la possibilità che una stima più precisa dell’incertezza possa tradursi in risultati più soddisfacenti.