Fairness of foundation models in medical image segmentation

In healthcare, precise segmentation of anatomical structures is essential both for accurate diagnosis and for the selection of an effective treatment. The advent of foundation models in the medical field, such as Meta AI’s recent Segment Anything Model (SAM), has introduced greater flexibility and adaptability in automatic segmentation, by allowing the model to be initialized with user‐defined prompts. However, uncertainties persist about their performance across different subgroups of patients. The objective of this thesis is to perform an analysis of fairness and bias of three foundation segmentation models by applying them to two datasets of medical images: one composed of CT scans and one of MR scans. Overall, the models show good segmentation accuracy for large organs with well-defined contours, but they also present some differences in performance between subgroups, suggesting that anatomical and demographic variability may influence the quality of segmentation.

Nella sanità, la segmentazione precisa delle strutture anatomiche è essenziale sia per una diagnosi accurata sia per la scelta di un trattamento efficace. L’avvento dei modelli fondamentali in campo medico, come il recente Segment Anything Model (SAM) di Meta AI, ha introdotto una maggiore flessibilità e adattabilità nella segmentazione automatica, consentendo di avviare il modello con prompt definiti dall’utente. Tuttavia, sono emersi dubbi riguardo alle loro prestazioni nei diversi sottogruppi di pazienti. L’obiettivo di questa tesi è condurre un’analisi di equità e bias di tre modelli di segmentazione fondamentali applicati a due dataset di immagini mediche: uno composto da scan CT e uno da scan MR. Nel complesso, i modelli mostrano una buona accuratezza di segmentazione per gli organi di grandi dimensioni e con contorni ben definiti, ma presentano anche differenze tra i diversi sottogruppi, suggerendo che le variabilità anatomiche e demografiche possano influenzare la qualità della segmentazione.