Multimedia forensics challenges in the multimodality data era

In the Big Data era, the variety and volume of multimedia assets have exploded. We constantly interact online by exchanging multimedia objects like images, audio clips, or videos. Moreover, scientific data such as satellite imagery (i.e., images of the ground taken by a moving platform, like an aircraft or satellite) and microscopic images (i.e., western blots) are now available from numerous portals. However, this proliferation of content has also opened up new avenues for manipulation and misuse. The multimedia forensics (MMF) community studies techniques for ensuring the authenticity of these objects. MMF aims to detect non-invertible traces left by editing operations, known as forensic footprints (FFs), using classic signal processing techniques and more recent data-driven approaches such as neural networks (NNs). Despite these efforts, MMF's state of the art (SOTA) presents some drawbacks when dealing with the current data scenario. For instance, data-driven techniques lack interpretability, i.e., knowing what prompted a detector to make a specific decision, and confidence estimation, i.e., understanding whether the response of a detector is reliable. Moreover, researchers do not have guarantees about their adaptability to new data modalities or generalization capabilities over new manipulation techniques. The birth and rise of editing techniques based on deep learning, e.g., Generative Adversarial Networks (GANs) and similia, poses new challenges to MMF researchers. New methods surface continuously and introduce new FFs that are hard to detect with state-of-the-art tools. MMF forensics must face these challenges simultaneously; therefore, this thesis aims to bridge the gap between data-driven techniques and the current forensic needs. In particular, our goal is the development of data-driven forensic techniques for unusual data modalities, i.e., videos, satellite imagery, and microscopic images, while contemporarily addressing the flaws mentioned above. Concerning video signals, we propose a pipeline for the spatiotemporal localization of splicing attacks. This pipeline exploits an ensemble of Convolutional Neural Networks (CNNs) for extracting codec-related information and spots splicing attacks as inconsistencies in the extracted traces. As such, despite leveraging data-driven tools, it is interpretable since it leverages the well-known forensic concept of codec attribution. We also analyze the task of detecting facial manipulations in the subjects of a video, i.e., deepfake video detection. Once again, we exploit ensembles of CNNs but develop a slight architectural variation to provide the analyst with an interpretable map indicating the elements the networks find more informative for their analysis. We also analyze the generalization capability of our solution in cross-dataset scenarios. We participated with this technique in the Deep Fake Detection Challenge (DFDC) hosted on Kaggle, reaching the 41st position over 2116 contenders. We then analyze the varicolored world of satellite images. Satellite images are a multi-modal data asset, including Electro-Optical (EO) images, i.e., images capturing the reflection of the solar radiation by the Earth's surface, as well as active measures like Synthetic Aperture Radar (SAR) signals, i.e., measurements of backscattered radar waves. We analyze some of the most common modalities of satellite images, namely panchromatic, RGB, and SAR images. We start our analysis by developing a CNN-based solution for attributing a panchromatic image to the satellite that generated it. We use uncertainty estimation techniques to assess the confidence of the CNN in processing the samples and use such measures to reject images of unknown origin. We then use CNNs to extract sensor-related features patch-wise and localize copy-paste attacks as incongruencies in the spatial distribution of this information. Even though both solutions exploit CNNs as feature extractors, they report interpretable forensic information. Moving to satellite RGB images, we analyze how some of their properties affect the detection capabilities of state-of-the-art forensic tools. In particular, we study how histogram enhancement operations used for processing this kind of data can aid in extracting and simultaneously hide useful forensic traces for copy-paste localization. We then develop a pipeline for the detection of images super-resolved with CNNs. These techniques leave visible and well-known artifacts in the Fourier domain. A simple anomaly detection algorithm trained on native high-resolution images generalizes well on different superresolution methods, even in data scarcity and strong compression conditions. Our work on SAR imagery instead focused on two different tasks. Given the sensible role these signals have in military and intelligence applications, we develop a CNN-based pipeline to anonymize amplitude SAR imagery, i.e., to remove sensitive content such as urban areas while keeping the samples credible enough not to raise suspects around their integrity. We then develop a pipeline for localizing splicing attacks on the same imagery. This solution combines high-frequency residuals and CNNs, producing an interpretable feature map that provides the analyst with insight into the editing history of the image. Our work on SAR images is the first documented in the forensic literature. We conclude the thesis with an analysis of microscopic images, more specifically of western blots. Western blots are the result of measurements in the field of molecular biology. We study the possibility of generating synthetic images of western blots exploiting deep learning techniques like GANs. We then gauge the detection capabilities of data-driven forensic tools developed in the challenging scenario of not having access to these synthetic samples. Even if we do not optimize these instruments over these signals, we can recognize them efficiently even in in-the-wild settings, e.g., under JPEG compression. The results of this thesis show that we can analyze data modalities different from standard digital pictures using similar concepts to those already known by the MMF community and that incorporating them with data-driven tools can lead to effective yet interpretable responses. Given the rate at which multimedia data exchanges evolve and new data modalities emerge to the public, many research directions stem from this investigation. A deeper understanding of the lifecycle of these new multimedia objects will always be necessary, as well as the development of out-of-the-box techniques for obtaining interpretable and confident responses from forensic instruments. Finally, translating results and findings from different data modalities can be beneficial in developing and re-using techniques, leading towards the development of universal foundational forensic tools.

Nell’era dei Big Data, la varietà e il volume dei dati multimediali sono aumentate a dismisura. Online interagiamo costantemente scambiando oggetti multimediali come immagini, clip audio, o video. Inoltre, dati scientifici come le immagini satellitari (i.e., immagini del suolo catturate da una piattaforma in movimento come un aereo o un satellite) e le immagini al microscopio (e.g., western blot) sono ora disponibili tramite numerosi portali. Tuttavia, questa proliferazione di contenuti rende possibile anche la loro manipolazione. La comunità forense multimediale studia tecniche per determinare l’autenticità di questi oggetti. L’obiettivo è di individuare, tramite tecniche di signal processing e/o più recenti approcci data-driven come le reti neurali, delle tracce non-invertibili, note come impronte forensi, lasciate dalle operazioni di editing durante il processo di manipolazione. Nonostante questi sforzi, lo stato dell’arte in ambito forense presenta ancora delle debolezze. Per esempio, le tecniche data-driven mancano di interpretabilità (non è chiaro quali elementi abbiano considerato per prendere una specifica decisione), e stima di incertezza (è difficile capire quando la risposta di un detector è affidabile). Inoltre, i ricercatori non hanno certezze sull’adattabilità di tali tecniche a nuove modalità di dati o sulle loro capacità di generalizzazione verso tecniche di manipolazione non conosciute. La nascita e ascesa di tecniche di editing basate su deep learning, e.g., Generative Adversarial Network (GAN) e simili, pone infatti nuove sfide ai ricercatori. Nuovi metodi appaiono continuamente, introducendo nuove impronte forensi che sono difficili da individuare usando tecniche allo stato dell’arte. La comunità forense deve affrontare queste sfide simultaneamente; pertanto, questa tesi si pone l’obiettivo di colmare la distanza tra le tecniche data-driven, ovvero lo stato dell’arte, e gli attuali bisogni delle applicazioni forensi. In particolare, svilupperemo delle tecniche data-driven per modalità di dati non comuni, come i video, le immagini satellitari, e le immagini biomediche, cercando contemporaneamente di limare i difetti sopramenzionati. Per quanto riguarda i segnali video, proponiamo una pipeline per la localizzazione spaziotemporale degli attacchi di splicing. Questa pipeline sfrutta un insieme di reti neurali convoluzionali per estrarre informazioni relative al codec usato per salvare il video. Gli attacchi di splicing sono localizzati come inconsistenze in queste tracce. Nonostante sfruttiamo strumenti data-driven, la nostra soluzione è interpretabile, poiché si basa sul noto concetto forense di attribuzione del codec. Analizziamo inoltre l’individuazione di modifiche facciali nei soggetti dei video, i.e., l’identificazione di video deepfake. Sfruttiamo anche in questo caso un insieme di reti neurali, ma introduciamo una variazione architetturale per fornire all’analista forense una mappa interpretabile che evidenzia gli elementi che le reti hanno trovato più informativi per la loro analisi. Testiamo, inoltre, la capacità di generalizzazione della nostra soluzione in uno scenario cross-dataset. Con questa tecnica abbiamo partecipato alla Deep Fake Detection Challenge (DFDC) su Kaggle, raggiungendo la 41ima posizione su 2116 partecipanti. Analizziamo successivamente il variegato mondo delle immagini satellitari. Le immagini satellitari sono degli asset multimodali, che includono immagini elettro-ottiche, i.e., immagini che catturano la riflessione da parte della superficie terrestre della radiazione solare, così come misure attive come i segnali Synthetic Aperture Radar (SAR), ovvero misure di segnali radar. Lavoriamo con alcune delle più comuni modalità delle immagini satellitari, ossia le immagini pancromatiche, RGB, e SAR. Il nostro primo sforzo è diretto allo sviluppo di una soluzione per attribuire un’immagine pancromatica al satellite che l’ha generata, sfruttando nuovamente reti neurali convoluzionali. Usiamo tecniche di stima dell’incertezza per determinare la sicurezza con cui le reti neurali processano l’immagine in ingresso, e usiamo queste stime per rigettare le immagini di origine incerta. Partendo da questo risultato, usiamo successivamente queste reti per estrarre informazioni relative al satellite di origine dalle diverse parti dell’immagine e localizziamo in questo modo attacchi di splicing come incongruenze nella loro distribuzione spaziale. Nonostante entrambe le soluzioni sfruttino reti neurali, entrambe forniscono delle risposte interpretabili. Muovendoci nel campo delle immagini RGB, analizziamo come alcune delle loro proprietà influenzano le risposte degli strumenti forensi allo stato dell’arte. In particolare, studiamo come le operazioni di miglioramento dell’istogramma usate per processare questo tipo di dati possano aiutare e allo stesso tempo inficiare l’estrazione di tracce forensi nella localizzazione di attacchi copy-paste. Sviluppiamo successivamente una pipeline per l’identificazione di immagini superresolute tramite reti neurali convoluzionali. Queste tecniche lasciano delle tracce visibili nel dominio di Fourier. Utilizzando un semplice algoritmo di individuazione delle anomalie basato su queste tracce e allenato solamente su immagini nativamente ad alta risoluzione, riusciamo a identificare immagini superresolute con metodi diversi, anche in condizioni di scarsità o forte compressione dei dati. Il nostro lavoro sulle immagini SAR si concentra invece su due compiti diversi. Considerato il ruolo cruciale che questi dati hanno in applicazioni militari e di intelligence, sviluppiamo una pipeline basata su reti neurali convoluzionali per anonimizzare immagini SAR di ampiezza, i.e., rimuovere contenuto sensibile come aree urbane mantenendo l’immagine credibile abbastanza da non destare sospetti sulla sua integrità. Successivamente, proponiamo una pipeline per la localizzazione di attacchi di splicing sulla stessa modalità di immagini. Questa soluzione combina residui in alta-frequenza e reti neurali, e produce una mappa interpretabile che fornisce all’analista forense informazioni sulle diverse operazioni di editing subite dall’immagine. Il nostro lavoro sulle immagini SAR è il primo documentato nella letteratura forense. Concludiamo questa tesi con un’analisi di immagini al microscopio, in particolare i western blot. I western blot sono il prodotto di tecniche di misurazione appartenenti al campo della biologia molecolare. Studiamo la generazione di immagini western blot sintetiche tramite tecniche di deep learning come le GAN. Testiamo successivamente le capacità di individuazione di queste immagini usando strumenti data-driven nel difficile scenario in cui l’analista forense non ha accesso a questo tipo di immagini per allenarli. Nonostante non ottimizziamo gli strumenti considerati con questo tipo di segnali, possiamo riconoscerli efficientemente anche in condizioni realistiche, e.g., comprimendo le immagini in formato JPEG. I risultati di questa tesi mostrano che possiamo analizzare modalità di dati differenti dalle classiche immagini digitali usando concetti simili a quelli già sviluppati dalla comunità forense. Inoltre, incorporando questi concetti all’interno di strumenti data-driven, possiamo combinare le loro performance superiori alla produzione di risposte interpretabili. Dato il ritmo con cui gli scambi di oggetti multimediali evolvono e nuove modalità di dati diventano note al grande pubblico, dalla nostra investigazione si dipartono diverse future direzioni di ricerca. Una più profonda comprensione del ciclo di vita di questi nuovi oggetti multimediali sarà sempre necessaria, così come lo sviluppo di tecniche pronte all’uso per ottenere risposte interpretabili e affidabili dagli strumenti forensi. Infine, trasporre risultati e scoperte tra diverse modalità di dati può essere utile nello sviluppo e riuso di varie tecniche, portando allo sviluppo di strumenti forensi universali.