Pixelwise segmentation of medical images based on SAM zero-shot predictions

Since their rise in popularity, there have been several attempts to use foundation models to segment medical images. These models, however, require retaining, fine-tuning, or integrating trained modules to reach the accuracy of the state-of-the-art models. This work evaluates a novel approach to the problem based on traditional machine learning methods. We use the zero-shot predictions of the foundation model Segment Anything alongside the field of radiomics to generate sets of features for each pixel. We then create the segmentation masks using machine learning models to classify each pixel. The results, however, show that the system implemented can not reach the accuracy of state-of-the-art models and fails to segment some classes.

Sin dalla loro crescità in popolarità, ci sono stati diversi tentativi di utilizzare modelli di fondazione per segmentare le immagini mediche. I modelli, tuttavia, richiedeno un riallenamento, un fine-tuning o l'integrazione di moduli allenati per raggiungere la precisione dei modelli allo stato dell'arte. In questo elaborato viene valutato un nuovo approccio al problema basato su metodi di machine learning tradizionali. Le previsioni zero-shot del modello di fondazione Segment Anything vengono usate insieme al campo della radiomica per generare set di features per ciascun pixel. Le maschere di segmentazione sono quindi create utilizzando modelli di machine learning per classificare i singoli pixel. I risultati, tuttavia, mostrano che il sistema implementato non riesce a raggiungere la precisione dei modelli allo stato dell'arte e non riesce a segmentare alcune classi.