SAR image despeckling from unpaired image-to-image translation

Nowadays, a large number of satellites allows us to systematically observe the surface of our planet from space. Among these, particularly interesting are satellites equipped with the Synthetic Aperture Radar (SAR) systems, which can capture high-quality images under different weather conditions and during nighttime, overcoming optical systems limitations. SAR satellites allow the collection of copious images by systematically revisiting the points composing their ground trace. This data is used to perform various tasks, e.g., earth and other planet surface monitoring, emergency response, military surveillance or the stability of civil infrastructures such as bridges or buildings. However, even if this technology does not suffer from optical sensors limitations, images acquired by this kind of satellites are contaminated by a peculiar noise called speckle. The speckle is caused by the interaction of out-of-phase waves with a target, and its reduction is necessary to interpret these images correctly. Thus, various algorithms have been proposed in the literature to reduce the speckle intensity. In the last years, Deep Learning models demonstrated state-of-the-art performances over various computer vision tasks, and, recently, they have been successfully applied to SAR image despeckling. However, these models often rely on supervised learning, which requires a massive amount of labelled data to be successfully carried out. However, there are no noise-free SAR images in reality, making it impossible to build labelled datasets composed of matching speckled and corresponding clean image pairs. Thus, the solutions proposed in the literature rely on synthetic datasets built by sampling multiplicative SAR speckle from a known distribution or on multi-temporal analysis. Even though these solutions reached outstanding performances over the despeckling task, the assumptions they make have some limitations. For example, synthetic datasets do not consider that the speckle distribution changes accordingly to the underlying scene, i.e., an urban area has a different speckle distribution than a wasteland. On the other side, the multi-temporal analysis uses a stack of images taken over the same scene at different times. Therefore, performing this analysis is possible only if the scene does not present significant changes over the observed period. In this work of thesis, we propose a model trained in an unsupervised fashion without any simulated data or matching pair of clean and speckled images. Instead, we took inspiration from the CycleGAN presented by Zhu et al. and developed a generative model capable of learning a speckle distribution correlated with the underlying scene. We trained side by side two networks capable of learning a despeckling and a speckle generation function, mapping speckled SAR images into the domain of the clean ones and vice-versa. By doing so, our model is capable of generating its own pairs of images by sampling SAR speckle from the distribution associated with the clean one. Finally, we carried out a large set of experiments to validate the developed models.

Al giorno d'oggi, vari satelliti continuano a monitorare il nostro pianeta scattando foto della superficie terrestre. Sfortunatamente, scattare immagini ottiche in presenza di nuvole o altri fenomeni meteorologici o durante la notte è un compito difficile. I radar ad apertura sintetica (SAR) propongono una soluzione per superare questi limiti. I satelliti SAR hanno raccolto un'enorme quantità di immagini da utilizzare in varie attività, dal monitoraggio della superficie della terra e di altri pianeti alla risposta alle emergenze e alla sorveglianza militare. Anche se questa tecnologia non ha i limiti dei sensori ottici, essa soffre di un rumore particolare che corrompe queste immagini chiamato speckle. Anche se questo speckle contiene informazioni utili per eseguire tali attività, nasconde comunque dettagli importanti. Pertanto, in letteratura sono stati proposti vari algoritmi per ridurre l'intensità di questo rumore. Negli ultimi anni, i modelli di Deep Learning hanno dimostrato di ottenere prestazioni allo stato dell'arte in vari task di Computer Vision, come il despeckling di immagini SAR. Questi modelli spesso si basano sull'apprendimento supervisionato, che richiede un'enorme quantità di dati etichettati per essere eseguito con successo. Sebbene i dati etichettati, sotto forma di coppie di immagine SAR e corrispondente pulita, non siano presenti in natura. Pertanto, le soluzioni proposte in letteratura si basano su set di dati sintetici, costruiti campionando speckle SAR moltiplicativi da una distribuzione nota, o su analisi multi-temporali. Anche se queste soluzioni hanno raggiunto prestazioni eccezionali nella riduzione dello speckle, le ipotesi che fanno hanno alcuni limiti. I set di dati sintetici non tengono conto del fatto che la distribuzione dello speckle cambia di conseguenza alla scena sottostante, ovvero un'area urbana ha una distribuzione di speckle diversa rispetto a un deserto. Dall'altro lato, l'analisi multi-temporale fa uso di una pila di immagini riprese sulla stessa scena in momenti diversi. L'esecuzione di questa analisi è possibile solo nel caso in cui la scena non presenti cambiamenti significativi nella finestra temporale osservata. In questo lavoro di tesi, proponiamo un modello addestrato senza alcun presupposto sulla distribuzione dello speckle e senza utilizzare alcuna coppia corrispondente di immagini SAR e pulite. Il nostro modello è composto da un Despeckler e uno Speckle Generator addestrati in modo non supervisionato sfruttando il modello di unpaired image-to-image translation proposto da Zhu et al. Il nostro Despeckler è in grado di ridurre l'intensità dello speckle delle immagini SAR preservando i bordi e i dettagli dei forti scatteratori, mentre lo Speckle Generator è in grado, dato un input pulito, di generare la distribuzione delle immagini SAR la cui distribuzione dello speckle corrisponde a quella attesa dalla scena sottostante.