Detection and Localization of Synthetic Manipulations in Scientific Images

Image manipulation has become increasingly prevalent with the widespread accessibility of advanced technologies for generating synthetic content. Images altered with malicious intent pose a grave threat in spreading misinformation, questioning trustworthiness, and raising integrity issues. Particularly within the realm of scientific images, such manipulation compromises the veracity and reliability of research findings, which are traditionally regarded as the source of truth. Consequently, there is a pressing need for methodologies within the field of forensics to quell these concerns. In our work, we present a solution based on Convolutional Neural Networks (CNNs) for detecting and localizing the presence of synthetic content in scientific images. The proposed detector operates on image patches to distinguish between real and synthetic pixels. The predicted estimates from the detector are then aggregated to generate a heatmap that effectively localizes the synthetic regions within the image. The proposed method is evaluated on scientific image datasets pertaining to Western Blots. In particular, we create two datasets based on Western Blots using state-of-the-art techniques to generate synthetic content and perform manipulations. One dataset contains automatically generated manipulations and the other replicates real-world forgery scenarios. We assess the robustness of our approach by testing it on images unknown at training time and manipulated with unknown synthetic generation methods. Our proposed solution exhibits remarkable performance in the detection and localization tasks on both the automatically and realistically tampered datasets and also performs fairly well on scientific images different from Western Blots. Our work also investigates the use of image features to better distinguish between manipulated and real images.

La manipolazione delle immagini è diventata sempre più diffusa grazie alla recente accessibilità di tecnologie avanzate per la generazione di contenuti sintetici. Le immagini alterate con intenti malevoli rappresentano una grave minaccia in quanto diffondono disinformazione, mettono in dubbio l'affidabilità e sollevano problemi di integrità dei dati. Soprattutto nel campo delle immagini scientifiche, tali manipolazioni compromettono la veridicità e l’affidabilità dei risultati delle ricerce, che sono tradizionalmente considerati una fonte veritiera di informazioni. Di conseguenza, c'è urgente bisogno di metodologie nel campo della forensica multimediale per far fronte a queste preoccupazioni. Nel nostro lavoro presentiamo una soluzione basata su reti neruali convolutive (CNN) per rilevare e localizzare la presenza di contenuto sintetico nelle immagini scientifiche. Il rilevatore proposto opera su piccole porzioni di immagini per poter distinguere tra contenuto reale e sintetico. Le stime del rilevatore relative alle singole porzioni vengono quindi aggregate e utilizzate per generare una mappa termica che localizza efficacemente le regioni manipolate sinteticamente all'interno dell'immagine. Il metodo proposto viene valutato su un set di dati di immagini scientifiche relative ai Western Blots. In particolare, abbiamo creato due set di dati basati su Western Blot utilizzando tecniche all'avanguardia per generare contenuti sintetici ed eseguire manipolazioni. Un dataset contiene manipolazioni generate automaticamente e l'altro replica scenari di falsificazione del mondo reale. Valutiamo la robustezza del nostro approccio testandolo su immagini mai viste in fase di training e manipolate con metodi di generazione sintetica sconosciuti. La nostra soluzione mostra prestazioni notevoli nelle attività di rilevamento e localizzazione sia sui set di dati manomessi automaticamente che realisticamente e funziona abbastanza bene anche su immagini scientifiche diverse dai Western Blots. Il nostro lavoro indaga anche l'uso delle caratteristiche dell'immagine per distinguere meglio tra immagini manipolate e reali.