Weakly supervised Polar Low segmentation in Sentinel-1 SAR imagery

Polar Lows (PLs) are small, yet hazardous and intense maritime cyclones. Because of their rapid development, PLs are difficult to predict. Remote sensing can be leveraged to improve forecasting but, since optical images are not useful during the polar night, one must resort to Synthetic Aperture Radar (SAR) sensors. These can be found in ESA's Sentinel-1 and provide all-weather, day-and-night coverage. Deep learning models have been able to accurately detect cyclone presence in SAR images, but pixel-level localization has yet to be addressed. The main obstacle in training a deep learning model for segmentation is the lack of pixel-level labels, which are difficult and expensive to produce. To address these problems, this thesis proposes a weakly-supervised semantic segmentation pipeline that generates accurate pixel-level PL pseudo-masks starting from image-level labels. These pseudo-masks enable the training of a segmentation network, which produces segmentation masks that more accurately highlight the regions of the cyclones. Our solution builds upon the Adversarial Erasing (AER) pipeline, which trains a classifier, finds the most discriminative regions using attribution maps, and erases those regions from the images. The classifier is then retrained on the erased images, and the cycle repeats iteratively, progressively discovering different object regions. Our method extends and improves AER by integrating (i) a CORE module that ensures a controlled growth of regions identified by AER, (ii) ordinal multi-class pseudo-masks that encode the confidence of PL presence, and (iii) a Dynamic Bootstrapping loss that works in tandem with the multi-class pseudo-labels, leveraging their confidence information during training. Qualitative results on PL images show that our proposed method produces detailed and accurate segmentation masks which capture features both near the core and in peripheral cyclone regions. Quantitative experiments on the Breast Ultrasound lesion Segmentation and PASCAL VOC2012 datasets confirm strong performance, which demonstrates the potential of our method to generalize beyond the PL scenario.

I Polar Lows (PL) sono cicloni marittimi di piccola scala, ma intensi e di breve durata. Sono molto difficili da prevedere a causa del loro rapido sviluppo. La loro frequente comparsa durante la notte polare rende la previsione ancora più complessa. I sensori radar ad apertura sintetica (SAR) di Sentinel-1 dell’ESA offrono una copertura indipendentemente dalle condizioni meteorologiche e dalla luce, al contrario dei sensori ottici che necessitano di illuminazione. I modelli di deep learning hanno mostrato ottimi risultati nell’identificazione di cicloni in immagini SAR, ma la segmentazione precisa dei PL rimane ancora inesplorata. Il più grande ostacolo a tale scopo è la carenza di annotazioni a livello di pixel, che impone quindi l’uso di tecniche di apprendimento con supervisione debole, basate su etichette a livello di immagine. Questa tesi propone una pipeline di segmentazione con supervisione debole che genera maschere pixel-level utilizzando solo etichette image-level. Le maschere pixel-level permettono poi l'addestramento di una rete di segmentazione, in grado di generare maschere ancora più precise. Il metodo si basa su Adversarial Erasing (AER), il quale permette di scoprire iterativamente diverse aree dell'oggetto di interesse. Il nostro metodo introduce tre innovazioni: (i) il modulo CORE per garantire una crescita controllata delle regioni identificate da AER; (ii) pseudo-maschere multi-livello, anziché binarie, che codificano diversi gradi di confidenza sulla presenza di PL; e (iii) una funzione di loss basata su Dynamic Bootstrapping che sfrutta le informazioni di confidenza presenti nelle maschere multi-livello per guidare l'addestramento della rete di segmentazione. I risultati qualitativi mostrano segmentazioni dettagliate nei PL, che catturano sia le parti centrali sia quelle periferiche. I test sui dataset Breast Ultrasound lesion Segmentation e PASCAL VOC2012 confermano ottime prestazioni quantitative, dimostrando che il nostro metodo generalizza bene anche in scenari diversi da quello dei PL.