Patient-specific fine-tuning with scribbles supervision for semantic segmentation of kidney's biopsies

Deep Learning models have enabled huge improvements in semantic segmentation of images in recent years. Despite this, their greatest limitation cannot be said to be solved, in fact a large number of images with related annotations are still required to train a Convolutional Neural Network. This limitation is particularly problematic in the medical imaging field where it is more difficult to obtain a large dataset and the anatomical variability we may encounter would require even more images with respect to other fields of application. We have addressed this problem in the context of kidney histopathology, encountering a large anatomical variability not only between healthy subjects and patients but also between patients suffering from the same pathology. As a solution, we propose to replace a general model for segmentation with a patient-specific model obtained by fine tuning a base model trained with the few available images. We propose to tune the model directly on the test images using the weak-supervision of scribbles annotations. With this procedure we can adapt the base model to new variations in the anatomical appearance of the classes when we analyze a new patient who may present a different pathology at a different level of severity. Scribble-type annotations have been identified as the most suitable for correcting the semantic class incorrectly assigned to a group of pixels in a short time and without requiring excessive annotation effort from the user. These patient-specific models have the natural progression of turning into pathology-specific models when a sufficient number of images of patients with the same pathology had been reached. In this context, we also proposed a labels expansion algorithm to increase the supervision for the model during fine-tuning. In the expansion algorithm we introduced an equivalence test to make the choice of whether to expand the annotations more rigorous.

I modelli di Deep Learning hanno permesso negli ultimi anni enormi miglioramenti nella segmentazione semantica delle immagini. Nonostante questo, la loro più grande limitazione non si può dire risolta, infatti sono ancora necessarie un gran numero di immagini con relative annotazioni per allenare una Rete Neurale Convoluzionale. Questa limitazione è particolarmente problematica nel campo dell’imaging medico dove è più difficile ottenere un dataset di grandi dimensioni e la variabilità anatomica che possiamo incontrare richiederebbe un numero ancora maggiore di immagini rispetto agli altri campi di applicazione. Abbiamo affrontato questo problema nel contesto dell’istopatologia dei reni, riscontrando una grande variabilità anatomica non solo tra soggetti sani e pazienti ma anche tra pazienti che soffrono della stessa patologia. Come soluzione proponiamo la sostituzione di un modello generale per la segmentazione con un modello specifico per ogni paziente ottenuto tramite il fine-tuning di un modello base allenato con le poche immagini a disposizione. Proponiamo di adattare il modello direttamente sulle immagini test utilizzando la supervisione debole di annotazioni di tipo scribble. Con questa procedura possiamo adattare il modello base a nuove variazioni nell’aspetto anatomico delle classi quando analizziamo un nuovo paziente che può presentare una diversa patologia ad un diverso livello di severità. Le annotazioni di tipo scribble sono state individuate come le più adatte per correggere la classe semantica assegnata erroneamente ad un gruppo di pixels in poco tempo e senza richiedere uno sforzo di annotazione eccessivo all’utente. Questi modelli specifici per i pazienti hanno la naturale progressione di trasformarsi in modelli specifici per la patologia quando si fosse raggiunto un numero di immagini sufficiente di pazienti che presentano la stessa patologia. In questo contesto abbiamo inoltre proposto un algoritmo di espansione delle annotazioni per aumentare la supervisione per il modello durante il fine-tuning. Nell’algoritmo di espansione abbiamo introdotto un test di equivalenza per rendere più rigorosa la scelta di espandere o meno le annotazioni.