Ensemble methods for multi-organ semantic segmentation

Multi-class segmentation has recently achieved significant performance in natural images and videos. These achievements have been made possible in large part by the public availability of large multi-class datasets. However there are certain domains, such as biomedical imaging, where obtaining sufficient multi-class annotations is laborious and often impossible, and therefore only single-organ datasets are available. While most of the existing research on segmentation in this domain uses large multi-class datasets or focuses on single-class segmentation, we propose a method that use multiple single-target datasets. We have implemented three multiple-input ensemble networks to use single-organ binary networks inference and obtain a complete multi-organ segmentation using images from 50 different patients. The metrics used for the evaluation and comparison of the different models with chosen baselines are Dice Score and Hausdorff Distance. Our work proposes a detailed study which aims to demonstrate the ability of ensemble architectures in organ segmentation. In particular, the experiments we perform concern the networks used in the ensemble: for organs that are difficult to delineate, such as the trachea and esophagus, we use more binary networks. We also see what happens if, in addition to binary networks for single organs, we use a multi-organ network. Finally we perform several tests with training of ensemble models with reduced dataset (in number of volumes). Our results show how increasing the number of networks per organ in ensemble architecture contributes to more accurate segmentation for the same organs, without compromising the performance of other organs. Furthermore, using a small number of samples in the training phase does not reduce overall performance substantially.

La segmentazione multi-classe ha recentemente raggiunto performance significative nelle immagini e video naturali. Questi traguardi sono stati possibili in larga parte alla disponibilitá pubblica di grandi dataset multi-classe. Tuttavia, ci sono certi domini, come quello delle immagini biomediche, dove ottenere annotazioni multi-classe sufficienti é laborioso e spesso impossibile, e quindi solo dataset con una singola classe di target sono disponibili. Mentre buona parte delle ricerche esistenti sulla segmentazione in questo dominio utilizzano grandi dataset multi-classe o si concentrano su segmentazione singola-classe, noi proponiamo un metodo che permette di utilizzare dataset multipli a singolo target. Noi abbiamo implementato tre multi-input ensemble network per utilizzare le inferenze di reti binarie a singolo organo ed ottenere una segmentazione multi-organo completa usando immagini provenienti da 50 diversi pazienti. Le metriche usate per la valutazione e la comparazione dei diversi modelli con le baseline scelte sono Dice Score e Hausdorff Distance. Il nostro lavoto propone uno studio dettagliato che mira a dimostrare l'abilitá delle architetture ensemble nella segmentazione di organi. In particolare, gli esperimenti che eseguiamo riguardano il tipo reti utilizzate nell'ensemble: per organi difficili da delineare, come trachea ed esofago, usiamo piú reti binarie. Vediamo anche cosa succede se, oltre le reti binarie per singoli organi, utilizziamo anche una rete multi-organo. Infine eseguiamo diversi test con addestramento dei modelli ensemble con dataset ridotto (nel numero di volumi). I nostri risultati mostrano come aumentare il numero di reti per organo nell'architetture ensemble contribuisca ad ottenere una segmentazione piú accurata per gli stessi organi, senza compromettere le prestazioni degli altri organi. Inoltre, utilizzare un numero ridotto di sample in fase di addestramento non riduce le prestazioni generali in modo sostanziale.