Forensics and counter-forensics methods for source device identification

Images and videos of various nature flood the web in an unbridled fashion everyday, overwhelming our social network profiles. This wildfire spreading of visual content published online can be seen as the direct consequence of a new communication paradigm, founded on immediate and effortlessly knowledge. The concept of “social” networks itself has been revolutionized during the last few years. Nowadays, they represent not only platforms for connecting people around the world but actual websites for quick information, marketing purposes and politics propaganda. As a matter of fact, visual communication is by far the most powerful and rapid instrument to convey a message in terms of data intelligibility. Every age, group and education can access an enormous amount of data, absorb information and share new content in few seconds. This phenomenon inevitably injects potential dangers into the communication process: whenever illegal or counterfeited data are uploaded on Internet, the longer we wait, the harder is to verify the content authenticity and avoid its uncontrolled diffusion. In this vein, performing forensics investigations on multimedia content answers the need of smart solutions for assessing data authenticity and integrity. Tampered with and neural network generated data, as well as unknown provenance and illicit material constantly fill days of forensics analysts, just to mention some examples. In this thesis, we tackle a few of these forensics challenges, specifically focusing on source device identification problems on images and videos. As a matter of fact, determining the origin of visual data proves extremely helpful to expose copyright violations or fight distribution of illegal content (e.g., child exploitation clips and terroristic threats). Since state-of-the-art methods for image source identification may suffer from memory and temporal requirements, we explore a novel strategy leveraging convolutional neural networks (CNNs) to identify the source camera of a query image. Our approach is a valid option to preserve important data storage and computational time. Extending image source identification strategies to videos is far from being straightforward, and several peculiar issues must be addressed. First of all, videos are typically acquired at lower resolution and stronger compression than images. Furthermore, video stabilization technologies introduce pixel misalignment in video frames which severely affects the identification performance unless suitable countermeasures are considered. In light of this, we thoroughly investigate the stabilization mechanism and propose multiple strategies for dealing with source device identification on stabilized sequences. Finally, and just as important, the job of forensics analyst usually includes investigations taken from a counter-forensics perspective as well. In case a malicious agent manipulates visual content with the goal of hindering investigations, forensics algorithms must be ready to address the issue and be robust to the attack. In this regard, source device anonymization is the counter-forensics instance of the identification problem. We draw two possible solutions to the anonymization task, aiming at testing the robustness and spotting weaknesses of proposed identification algorithms in literature. To face these challenges, we rely on subtle sensor traces left by each camera on its acquired content. These characteristic footprints take the form of a random noise and are unique per device, thus enabling to directly trace data back to their origins. Specifically, we exploit a unique device fingerprint known as photo-response non uniformity (PRNU), without limiting our investigations to statistical methods but opening new horizons towards automatic and data-driven approaches. The proposed experimental campaigns are always evaluated on images and videos from well-known disclosed datasets. The achieved results draw our strategies as competitive solutions, in terms of accuracy and computational complexity accomplishments.

Immagini e video di varia natura inondano il web ogni giorno, sovraccaricando i nostri profili sui social networks. Questa diffusione incontrollata di contenuti visivi pubblicati online può essere vista come la diretta conseguenza di un nuovo paradigma di comunicazione, fondato sul bisogno di una conoscenza immediata e senza sforzi. Il concetto stesso di social networks è stato rivoluzionato negli ultimi anni. Oggi i social networks rappresentano non solo piattaforme per connettere persone in tutto il mondo, ma veri siti web per ottenere rapidamente informazioni, per scopi di marketing e propaganda politica. Difatti, la comunicazione visiva è di gran lunga lo strumento più potente e rapido per trasmettere un messaggio in termini di intelligibilità dei dati. Ogni genere di età, gruppo e istruzione può accedere a un'enorme quantità di dati, assorbire informazioni e condividere nuovi contenuti in pochi secondi. Questo fenomeno inserisce inevitabilmente potenziali pericoli nel processo di comunicazione: ogni volta che dati illegali o contraffatti vengono caricati su Internet, più a lungo si aspetta, più è difficile verificare l'autenticità del contenuto ed evitarne la diffusione incontrollata. In questo senso, eseguire indagini forensi sui contenuti multimediali risponde alla necessità di soluzioni intelligenti per valutarne l'autenticità e l'integrità. Solo per fare alcuni esempi, dati manomessi e generati da reti neurali, materiali illeciti e sconosciuti riempiono costantemente le giornate degli analisti forensi. In questa tesi affrontiamo alcune di queste sfide, in particolare concentrandoci sui problemi di identificazione del dispositivo sorgente di immagini e video. Determinare l'origine dei dati visivi si rivela estremamente utile per esporre violazioni del copyright o combattere la distribuzione di contenuti illegali (ad esempio, video clip che riprendono scene di sfruttamento minorile e minacce terroristiche). Siccome lo stato dell'arte sull'identificazione del dispositivo sorgente di un immagine può risentire di problemi a causa di grandi requisiti di memoria e tempo computazionale, proponiamo una nuova strategia che sfrutta le reti neurali convolutive (CNN) per identificare la telecamera di origine di un'immagine. Il nostro approccio si dimostra una valida opzione per risparmiare spazio per l'archiviazione e l'elaborazione dei dati. L'estensione delle strategie di identificazione della sorgente dalle immagini ai video è lungi dall'essere semplice e, tipicamente, diverse questioni devono essere affrontate. Prima di tutto, i video vengono generalmente acquisiti a una risoluzione più bassa e una compressione più forte delle immagini. Inoltre, le tecnologie di stabilizzazione dei video introducono disallineamento tra i pixel nei diversi fotogrammi, e questo influisce gravemente sulle prestazioni dell'identificazione, a meno che non vengano prese in considerazione adeguate contromisure. Alla luce di questo, in questa tesi studiamo a fondo il meccanismo di stabilizzazione e proponiamo molteplici strategie per gestire l'identificazione del dispositivo sorgente su sequenze stabilizzate. Infine, altrettanto importante, il lavoro dell'analista forense di solito include anche indagini svolte da un punto di vista anti-forense. Nel caso in cui un agente malintenzionato manipoli il contenuto visivo per ostacolare le indagini forensi, gli algoritmi di analisi forense devono essere pronti ad affrontare il problema ed essere robusti all'attacco. A questo proposito, l'anonimizzazione del dispositivo sorgente è l'istanza anti-forense del problema di identificazione. In questa tesi proponiamo due possibili soluzioni per l'anonimizzazione, con l'obiettivo di testare la solidità degli algoritmi di identificazione proposti in letteratura e individuarne dei punti deboli. Per affrontare queste sfide, ci affidiamo a sottili tracce del sensore lasciate da ciascuna fotocamera su ogni suo contenuto acquisito. Queste impronte caratteristiche hanno la forma di un rumore casuale e sono uniche per dispositivo, consentendo così di rintracciare l'origine dei dati. Nello specifico, sfruttiamo un'impronta unica del dispositivo nota come non-uniformità della risposta all'illuminazione (PRNU), senza limitare le nostre indagini a metodi statistici ma aprendo nuovi orizzonti verso approcci automatizzati e basati sui dati. Gli esperimenti proposti vengono sempre valutati su immagini e video selezionati da noti dataset pubblici. I risultati raggiunti mostrano come le strategie proposte possano essere soluzioni competitive, sia in termini di accuratezza che di complessità computazionale.