Noise-based anomaly detection for image forgery localization

Nowadays, capturing, editing and sharing pictures has become a common practice on our daily routines. With the appearance of new and advanced technologies, we are now capable of manipulating images by simply using our smartphones. These technologies evolve so rapidly that traditional forgery detection and localization methods have become obsolete. Most of the time, these tools are used for innocent matters, but unfortunately, they are often used for malicious purposes such as political manipulation, fake publicity, extortion or even identity theft, becoming a potential risk not only to individuals but also to society. For these reasons, there is a constant interest in the scientific community of creating new powerful tampering localization methods capable of detecting manipulations done on images. These methods usually rely on exploiting specific characteristics of the cameras, such as the Color Filter Array (CFA) or the Camera Response Function (CRF). One of the most exploited of these features is probably the Photo-Response Non-Uniformity Noise (PRNU), a device-dependent noise residual. Some of the most successful methods for forgery localization are based on the idea of extracting the PRNU from the images and using it for forensic purposes. The same idea can be extrapolated to a camera-model level, stating that each camera-model leaves its own fingerprint on the captured images. Our purpose is to construct a method capable of extracting this fingerprint from images, and then employ it as a forgery localization tool. To achieve this goal, we rely on two different types of denoisers, one based on Convolutional Neural Network (CNN) architecture, and one based on Transformer architecture. Then, we use a set of activation maps extracted from these networks in order to perform an anomaly detection task to construct a heatmap, exhibiting potential traces of tampering on the input image. Results show that our proposed method outperforms state-of-the-art techniques in most of the cases.

Al giorno d'oggi, catturare, modificare e condividere immagini è diventata una pratica comune nelle nostre routine quotidiane. Con l'avvento di nuove e avanzate tecnologie, siamo ora in grado di manipolare le immagini semplicemente utilizzando i nostri smartphone. Queste tecnologie evolvono così rapidamente che i tradizionali metodi di rilevamento e localizzazione delle frodi sono diventati obsoleti. Molte volte, questi strumenti vengono utilizzati per scopi innocenti, ma sfortunatamente, vengono spesso impiegati anche per scopi maligni come manipolazioni politiche, false pubblicità, estorsioni o addirittura furto di identità, diventando un potenziale rischio non solo per gli individui, ma anche per la società. Per questo motivo, c'è un interesse costante nella comunità scientifica nel creare nuovi e potenti metodi di localizzazione delle frodi capaci di rilevare le manipolazioni effettuate sulle immagini. Questi metodi di solito si basano sull'esplorazione di specifiche caratteristiche delle fotocamere, come il Color Filter Array (CFA) o il Camera Response Function (CRF). Una delle caratteristiche più sfruttate è probabilmente il Photo-Response Non-Uniformity Noise (PRNU), un residuo di rumore dipendente dal dispositivo. Alcuni dei metodi più efficaci per la localizzazione delle frodi si basano sull'idea di estrarre il PRNU dalle immagini e utilizzarlo a fini forensi. La stessa idea può essere estesa a livello di modello di fotocamera, affermando che ogni modello di fotocamera lascia la propria impronta sulle immagini catturate. Il nostro scopo è quello di costruire un metodo in grado di estrarre questa impronta dalle immagini per poi utilizzarla come strumento di localizzazione delle frodi. Per raggiungere questo obiettivo, ci affidiamo a due tipologie differenti di denoiser, uno basato sull'architettura Convolutional Neural Network (CNN) e uno basato sull'architettura Transformer. Successivamente, utilizziamo un insieme di mappe di attivazione estratte da questi reti per eseguire un compito di rilevamento delle anomalie, al fine di costruire una mappa di calore che mostri le potenziali tracce di manipolazione sull'immagine in ingresso. I risultati mostrano che il metodo da noi proposto supera le tecniche all'avanguardia nella maggior parte dei casi.