generative data augmentation for instance segmentation in fluorescence microscopy images

Over the years, Deep Learning models have proven to be a great tool for Computer Vision, achieving much better results with respect to classical algorithms. Such systems, trained to solve the problem of instance segmentation, can provide important help in the biomedical field of histopathology, where trained professionals need to analyze tissue samples to find the cause of patient illness. They are, however, extremely dependent on big data, which is rarely available in the medical field due to the cost of obtaining and annotating samples, overall conditions' rarity and patient privacy. We propose to tackle the data scarcity problem in an instance segmentation framework by devising a novel generative augmentation scheme. The main challenge in this kind of application is creating new samples jointly to their annotation, as first generating images and then adding the ground truth would just lead back to the very problem we are trying to solve. We therefore focus on creating first the ground truth, and then use a generative network to obtain realistic images coherent with it. We test our method using a model we implemented for the task of segmenting nuclei in fluorescence images. Starting from a single annotated image, we are able to reach a performance comparable to that of a model trained using 50 publicly available and manually annotated samples. Our generation scheme can therefore decrease the pathologists' effort in annotating ground truth images for training Deep Learning models in different biomedical domains.

Nel corso degli anni, i modelli di Deep Learning hanno dimostrato di essere un eccellente strumento per la Visione Computerizzata, raggiungendo risultati molto migliori rispetto agli algoritmi classici. Questi sistemi, addestrati per risolvere problemi di segmentazione di istanze, possono essere di grande aiuto nel campo dell’istopatologia, dove professionisti analizzano campioni di tessuto per determinare la causa dei sintomi dei pazienti. Sono, però, molto dipendenti da grandi quantità di dati, che raramente sono disponibili in campo biomedico a causa dei costi necessari per ottenere i campioni e annotarli, della rarità delle patologie e della privacy dei pazienti. Proponiamo di affrontare il problema della scarsità dei dati in un contesto di segmentazione di istanze progettando un sistema di Data Augmentation generativo. Il principale problema in questo tipo di applicazione consiste nella creazione di nuove immagini congiuntamente alle loro annotazioni, dato che generare prima il tessuto e poi la segmentazione ci ricondurrebbe al nostro problema originale. Pertanto, creiamo prima la segmentazione e utilizziamo una rete generativa per ottenere immagini realistiche e coerenti con l’annotazione. Valutiamo il nostro metodo con un modello che abbiamo implementato per segmentare nuclei all’interno di immagini di fluorescenza. Partendo da una singola immagine, raggiungiamo prestazioni comparabili a quelle di un modello addestrato utilizzando 50 immagini di pubblico dominio annotate manualmente. Il nostro sistema generativo può quindi ridurre il lavoro dei patologi per annotare immagini al fine di addestrare modelli di Deep Learning in differenti domini biomedici.