Adapting segment anything model to SAR avalanche segmentation

Avalanche segmentation and mapping are important steps to aid forecasting and risk prevention in mountainous regions. Satellite imagery, specifically from Sentinel-1, has been used successfully to map avalanche activity, but traditional algorithms and deep learning architectures have failed to surpass the accuracy of human experts. They are nonetheless necessary for real-time applications, given the time required for manual segmentation. We propose a model that uses Segment Anything Model (SAM), a segmentation foundation model by Meta, as a base and addresses its limitations of domain mismatch (SAM was not trained on Satellite images), input adaptation (SAM is limited to three input channels), target size (SAM struggles with small targets and with imprecise prompts) and in general training optimization. Specifically, the aforementioned limitations were addressed respectively with adapters, the use of multiple encoders, prompt engineering, and a training algorithm that reduces the impact of the encoder bottleneck on the training time. We proved experimentally, through the creation of a custom segmentation tool, the advantage of including our model in the avalanche segmentation pipeline to improve the time efficiency of human experts, which would help enlarge current datasets to bridge the gap that currently separates human experts from deep-learning methods.

La mappatura e la segmentazione delle valanghe sono step importanti per fare previsione e prevenire i rischi relativi nelle zone montane. Immagini satellitari, specificatamente da Sentinel-1, sono state usate con successo per mappare l'attività delle valanghe ma algoritmi e metodi di deep learning tradizionali non sono riusciti a superare l'accuratezza degli esperti umani; tuttavia sono necessari per le applicazioni in tempo reale a causa del tempo richiesto dalla segmentazione manuale Proponiamo un modello che utilizza il Segment Anything Model (SAM), un modello di segmentazione di Meta, come base e ne affronta i limiti di disallineamento di dominio (SAM non è stato addestrato su immagini satellitari), adattamento dell'input (SAM è limitato a tre canali di input), dimensione del target (SAM ha difficoltà con target di piccole dimensioni e prompt imprecisi) e, in generale, ottimizzazione dell'addestramento. In particolare, i limiti sopra menzionati sono stati risolti rispettivamente con adapters, l'uso di più encoder, prompt engineering e un algoritmo di addestramento che riduce l'impatto del collo di bottiglia creato dall'encoder. Abbiamo dimostrato sperimentalmente, attraverso la creazione di uno strumento di segmentazione personalizzato, il vantaggio di includere il nostro modello nella pipeline di segmentazione di valanghe per migliorare l'efficienza temporale degli esperti umani, il che contribuirebbe ad ampliare gli attuali dataset e colmare il divario che attualmente separa gli esperti umani dai metodi di deep learning.