Colorization of Sentinel-1 SAR images using deep generative models conditioned on land cover segmentation maps

Synthetic Aperture Radar (SAR) is a key remote sensing modality, offering all-weather, day-and-night Earth observation capabilities that optical sensors cannot provide. However, SAR imagery is inherently difficult to interpret: its single-channel backscatter representation, the presence of speckle noise and geometric distortions such as foreshortening, layover and shadowing make it non-intuitive even for trained analysts. SAR colorization aims to mitigate this limitation by assigning color information to SAR acquisitions, improving their visual interpretability while preserving the structural and radiometric content carried by the radar signal. This thesis proposes a comprehensive deep learning framework for SAR colorization. First, we generate colorized ground-truth images through a wavelet-based multi-scale fusion of co-registered SAR and optical data, designed to balance SAR structural preservation against optical color consistency more effectively than classical component substitution techniques. Second, we factorize the task into a two-stage supervised pipeline: an auxiliary segmentation model predicts land cover maps directly from the SAR acquisition and provides them as an explicit semantic prior to the colorization stage, improving both semantic consistency and interpretability. Within this framework, we implement and assess two modern generative paradigms, a conditional Generative Adversarial Network and a conditional Diffusion model and additionally exploit dual-polarization (VV and VH) information when available. Experiments on the SEN12TP dataset show that the proposed semantic conditioning, together with the adoption of recent generative frameworks, improves the structural fidelity and color consistency of the colorized outputs with respect to existing approaches. The entire work was carried out at Sarmap SA, a Swiss company specialized in innovative remote sensing solutions for Earth observation.

Il Radar ad Apertura Sintetica (SAR) è una modalità di telerilevamento fondamentale, che offre capacità di osservazione della Terra in qualsiasi condizione meteorologica, sia di giorno che di notte, non ottenibili con i sensori ottici. Tuttavia, le immagini SAR risultano intrinsecamente difficili da interpretare: la rappresentazione del backscatter su singolo canale, la presenza del rumore di speckle e di distorsioni geometriche quali foreshortening, layover e shadowing le rendono poco intuitive anche per analisti esperti. La colorizzazione SAR mira a mitigare questa limitazione assegnando informazioni di colore alle acquisizioni SAR, migliorandone l'interpretabilità visiva e preservando al contempo il contenuto strutturale e radiometrico veicolato dal segnale radar. Questa tesi propone un framework completo basato sul deep learning per la colorizzazione SAR. In primo luogo, generiamo immagini di verità colorizzate tramite una fusione multi-scala basata su wavelet di dati SAR e ottici co-registrati, progettata per bilanciare la preservazione della struttura SAR e la coerenza cromatica ottica in modo più efficace rispetto alle classiche tecniche di component substitution. In secondo luogo, scomponiamo il compito in una pipeline supervisionata a due stadi: un modello di segmentazione ausiliario predice le mappe di land cover direttamente dall'acquisizione SAR e le fornisce come prior semantico esplicito allo stadio di colorizzazione, migliorando sia la coerenza semantica sia l'interpretabilità. All'interno di questo framework, implementiamo e valutiamo due moderni paradigmi generativi, una conditional Generative Adversarial Network e un conditional Diffusion model, sfruttando inoltre l'informazione in dual-polarization (VV e VH) quando disponibile. Gli esperimenti sul dataset SEN12TP mostrano che il conditioning semantico proposto, unitamente all'adozione di framework generativi recenti, migliora la fedeltà strutturale e la coerenza cromatica delle immagini colorizzate rispetto agli approcci esistenti. L'intero lavoro è stato svolto presso Sarmap SA, una società svizzera specializzata in soluzioni innovative di telerilevamento per l'osservazione della Terra.