Enhanced amplitude SAR imagery splicing localization through land cover mapping techniques

The diffusion and quality of satellite images has grown exponentially in recent decades. Unfortunately, their manipulation and fraudulent use is possible with the help of editing software such as GIMP and PhotoShop. The dissemination in various scenarios of modified satellite images can have serious consequences (e.g. propagation of fake news, manipulation of public opinion, etc.). For this reason, it is necessary to develop forensic techniques to verify the integrity and authenticity of satellite images. In this thesis we propose a method for the localization of local manipulations, i.e., splicing attacks, on amplitude SAR images. Due to their nature, these images differ from classic aerial and satellite photographs, therefore specific tools are needed to extract traces left by malicious editing operations. Our method jointly uses two tools for the localization of splicing attacks: (i) a CNN which extracts a fingerprint highlighting the manipulated image regions; (ii) a second CNN helping the first providing a segmentation of the analyzed image into different types of terrain. Experimental results calculated on a dataset of double-polarization amplitude SAR images downloaded from the Copernicus Open Access Hub show that the integration of forensic and semantic information provides significant advantages. In particular, the information provided by the land-cover maps allows to mitigate artifacts in the forensic fingerprint generated by the presence of singular, yet pristine, semantic content in the samples under investigation. Future works will be devoted to a deeper integration of high-level semantic information inside the pipelines of forensic tools.

La diffusione e la qualità delle immagini satellitari è cresciuta in modo repentino negli ultimi decenni. Purtroppo, la loro manipolazione e il loro uso fraudolento è possibile con l'aiuto di software di editing come GIMP e PhotoShop. La diffusione in vari scenari di immagini satellitari modificate può avere gravi conseguenze (es. propagazione di fake news, manipolazione dell'opinione pubblica, ecc.). Per questo motivo è necessario sviluppare tecniche forensi per verificare l'integrità e l'autenticità delle immagini satellitari. In questa tesi proponiamo un metodo per la localizzazione di manipolazioni locali, ovvero attacchi di splicing, su immagini SAR ampiezza. Per loro natura, queste immagini differiscono dalle classiche fotografie aeree e satellitari, pertanto sono necessari strumenti specifici per estrarre tracce lasciate da operazioni di editing dannose. Il nostro metodo utilizza congiuntamente due strumenti per la localizzazione degli attacchi di splicing: (i) una CNN che estrae una fingerprint evidenziando le regioni manipolate dell'immagi; (ii) una seconda CNN che aiuta la prima fornendo una segmentazione dell'immagine analizzata in diversi tipi di terreno. I risultati sperimentali calcolati su un set di dati di immagini SAR in doppia polarizzazione provenienti dal Copernicus Open Access Hub mostrano che l'integrazione di informazioni forensi e semantiche offre vantaggi significativi. In particolare, le informazioni fornite dalle mappe di copertura del suolo consentono di mitigare gli artefatti nella fingerprint forense generati dalla presenza di contenuti semantici singolari, ma non manipolati, nei campioni in esame. I lavori futuri saranno dedicati a una più profonda integrazione di informazioni semantiche di alto livello all'interno delle pipeline degli strumenti forensi.