Patient-specific fine-tuning with scribbles supervision and uncertainty weighting for semantic segmentation: application to kidney biopsies

In this study, we propose a method for quantifying Renal Peritubular Interstitial volume from kidney biopsy images using semantic segmentation. The approach integrates convolutional neural networks (CNNs) with weak supervision via scribble annotations and Monte Carlo (MC) Dropout for uncertainty estimation, addressing key challenges in medical imaging such as limited annotated data, anatomical variability, and model prediction reliability. The method employs a U-Net architecture, with a base model trained on densely annotated images and patient-specific models, fine-tuned with scribble annotations. This patient-specific fine-tuning demonstrated significant improvements in segmentation accuracy by effectively capturing individual patient characteristics. However, in some cases, performance declined slightly due to overfitting or insufficient capture of patient-specific details. We also explored the impact of reducing scribble annotations, finding that fewer annotations generally led to a reduction in accuracy, although the model remained robust in some cases. An alternative approach, which involved using a combined dataset for all patients, resulted in lower Dice scores, further confirming the superiority of patient-specific fine-tuning. Additionally, we introduced uncertainty-weighted fine-tuning, where uncertainty maps generated by MC Dropout were used to prioritize uncertain regions during training. This method significantly enhanced performance, especially for patients with greater anatomical variability. While deterministic models outperformed uncertainty-weighted models in most cases, the performance gap was minimal, and in some instances, the uncertainty weighting produced better results. Experiments using scribbles from different annotators revealed performance variability, emphasizing the importance of consistent annotation practices for achieving optimal results. In conclusion, patient-specific fine-tuning combined with uncertainty weighting significantly improves segmentation, making it a promising tool for kidney biopsy analysis in clinical practice.

In questo studio, proponiamo un metodo per quantificare il volume interstiziale peritubulare renale da immagini di biopsie renali tramite segmentazione semantica. L'approccio integra reti neurali convoluzionali (CNN) con annotazioni a scarabocchio e Monte Carlo (MC) Dropout per stimare l'incertezza, affrontando sfide chiave come la scarsità di dati annotati, la variabilità anatomica e l'affidabilità delle previsioni. Utilizziamo l'architettura U-Net, con un modello base addestrato su immagini densamente annotate, e modelli specifici per paziente, rifiniti con annotazioni a scarabocchio. Il fine-tuning specifico per paziente ha migliorato significativamente la segmentazione, catturando le caratteristiche individuali. Tuttavia, in alcuni casi, si sono verificati leggeri cali di prestazioni, probabilmente dovuti al sovradattamento. Abbiamo anche testato l'impatto della riduzione delle annotazioni, riscontrando una diminuzione dell'accuratezza con un numero inferiore di scarabocchi, anche se il modello ha mantenuto buone prestazioni in alcuni casi. L'uso di un dataset combinato per tutti i pazienti ha mostrato punteggi Dice inferiori, confermando la superiorità del fine-tuning specifico. Inoltre, abbiamo introdotto un fine-tuning ponderato per l'incertezza, utilizzando mappe di incertezza per dare priorità alle aree incerte durante l'addestramento, migliorando le prestazioni, soprattutto nei pazienti con maggiore variabilità anatomica. Sebbene i modelli deterministici abbiano in generale superato quelli ponderati per l’incertezza, le differenze sono state minime, e in alcuni casi i modelli con incertezza hanno fornito risultati migliori. Infine, abbiamo osservato variabilità nelle prestazioni con annotazioni di esperti diversi, sottolineando l’importanza di pratiche di annotazione coerenti. In conclusione, il fine-tuning specifico per paziente, insieme alla ponderazione per l'incertezza, migliora significativamente la segmentazione e rappresenta uno strumento promettente per l'analisi delle biopsie renali in ambito clinico.