Recent AI image generators can produce highly realistic and semantically rich visual content, creating new challenges for digital image forensics and provenance analysis. Most existing work on synthetic image forensics focuses on binary fake image detection, i.e., distinguishing real camera images from AI-generated images. In practical forensic scenarios, however, this decision is often not sufficient: it is also important to determine which generator or generation pipeline may have produced a given image. This thesis studies AI-generated image source attribution and implements a residual spectral fingerprint matching pipeline by combining low-level spectral traces of generated images with pairwise fingerprint matching ideas from source identification. The proposed pipeline first extracts a residual representation from each image to suppress high-level semantic content and emphasize low-level traces. The residual is then transformed into the Fourier domain, where different spectral representations are constructed. For each candidate generator, a generator-level reference fingerprint is estimated by averaging the spectra of reference images. At test time, the query spectrum is compared with all candidate generator fingerprints, and the generator with the highest matching score is selected as the 17-way source attribution result. The thesis compares a non-learned PCE baseline, a lightweight PCN matcher, and an EfficientNet-B0 Siamese backbone, while also studying the effects of spectral representation, normalization, JPEG recompression, AugN5 JPEG adaptation, and fingerprint swapping. Experiments are conducted under a unified 17-generator protocol, with reference fingerprints available for every generator and 200 test queries per generator, for a total of 3,400 test images. The results show that residual spectral fingerprints are highly informative in the clean non-compressed domain: PCN with magnitude spectra and global QT reaches 86.18% 17-way attribution accuracy and 0.9875 one-vs-rest AUC. However, JPEG recompression introduces a strong spectral domain shift, causing the clean-trained PCN matcher to collapse to near-chance top-1 attribution under compressed queries. AugN5 partially restores compressed-domain attribution and verification, but acts as a domain adaptation strategy rather than a free robustness improvement. In particular, PCE on the real Fourier component with global QT and AugN5 reaches 66.47% mean 17-way attribution accuracy over Q=60-Q=90, making it the most stable compressed-domain attribution configuration in this study. Fingerprint swapping does not improve over the no-swap AugN5 baseline, suggesting that robustness depends primarily on aligning the spectral domains of queries, reference fingerprints, and compressed test images rather than on simply replacing JPEG-grid regions.
I recenti generatori di immagini basati su intelligenza artificiale sono in grado di produrre contenuti visivi altamente realistici e semanticamente ricchi, introducendo nuove sfide per la digital image forensics e per l'analisi della provenienza. Gran parte dei lavori esistenti sulla forensics delle immagini sintetiche si concentra sulla rilevazione binaria, cioè sulla distinzione tra immagini acquisite da fotocamera e immagini generate artificialmente. In molti scenari pratici, tuttavia, questa decisione non è sufficiente: è anche necessario stabilire quale generatore o quale pipeline di generazione possa aver prodotto una determinata immagine. Questa tesi studia il problema dell'attribuzione della sorgente per immagini generate da IA e implementa una pipeline di residual spectral fingerprint matching, combinando le tracce spettrali a basso livello delle immagini sintetiche con il paradigma di pairwise fingerprint matching usato nell'identificazione della sorgente. La pipeline estrae innanzitutto una rappresentazione residua da ciascuna immagine, in modo da ridurre il contenuto semantico di alto livello ed enfatizzare le tracce a basso livello. Il residuo viene poi trasformato nel dominio di Fourier, dove vengono costruite diverse rappresentazioni spettrali. Per ogni generatore candidato, viene stimata una fingerprint di riferimento a livello di generatore mediante la media degli spettri ottenuti da immagini di riferimento. In fase di test, lo spettro della query viene confrontato con tutte le fingerprint candidate, e il generatore con il punteggio di matching più alto viene selezionato come risultato dell'attribuzione a 17 classi. La tesi confronta un baseline non appreso basato su PCE, un matcher leggero di tipo PCN e una backbone Siamese EfficientNet-B0, analizzando inoltre l'effetto delle rappresentazioni spettrali, della normalizzazione, della ricompressione JPEG, dell'adattamento AugN5 e della tecnica di fingerprint swapping. Gli esperimenti sono condotti con un protocollo unificato su 17 generatori, con fingerprint di riferimento disponibili per ogni generatore e 200 immagini di test per ciascuna classe, per un totale di 3,400 immagini di test. I risultati mostrano che le fingerprint spettrali residue sono altamente informative nel dominio clean non compresso: PCN con spettri di magnitudine e global QT raggiunge l'86.18% di accuratezza nell'attribuzione a 17 classi e 0.9875 di AUC one-vs-rest. Tuttavia, la ricompressione JPEG introduce un forte spectral domain shift, portando il matcher PCN addestrato nel dominio clean a prestazioni di top-1 attribution prossime al caso sulle query compresse. AugN5 recupera parzialmente le prestazioni nel dominio compresso, ma si comporta come una strategia di adattamento di dominio più che come un miglioramento di robustezza senza costo. In particolare, PCE applicato alla componente reale di Fourier con global QT e AugN5 raggiunge il 66.47% di accuratezza media nell'intervallo Q=60-Q=90, risultando la configurazione più stabile per l'attribuzione nel dominio compresso. L'ablation basata su fingerprint swapping non produce miglioramenti rispetto al baseline AugN5 senza swapping, suggerendo che la robustezza dipende principalmente dall'allineamento dei domini spettrali tra query, fingerprint di riferimento e immagini compresse, piuttosto che dalla semplice sostituzione delle regioni legate alla griglia JPEG.
Source attribution of AI-generated images via spectral fingerprints
Li, Baichen
2025/2026
Abstract
Recent AI image generators can produce highly realistic and semantically rich visual content, creating new challenges for digital image forensics and provenance analysis. Most existing work on synthetic image forensics focuses on binary fake image detection, i.e., distinguishing real camera images from AI-generated images. In practical forensic scenarios, however, this decision is often not sufficient: it is also important to determine which generator or generation pipeline may have produced a given image. This thesis studies AI-generated image source attribution and implements a residual spectral fingerprint matching pipeline by combining low-level spectral traces of generated images with pairwise fingerprint matching ideas from source identification. The proposed pipeline first extracts a residual representation from each image to suppress high-level semantic content and emphasize low-level traces. The residual is then transformed into the Fourier domain, where different spectral representations are constructed. For each candidate generator, a generator-level reference fingerprint is estimated by averaging the spectra of reference images. At test time, the query spectrum is compared with all candidate generator fingerprints, and the generator with the highest matching score is selected as the 17-way source attribution result. The thesis compares a non-learned PCE baseline, a lightweight PCN matcher, and an EfficientNet-B0 Siamese backbone, while also studying the effects of spectral representation, normalization, JPEG recompression, AugN5 JPEG adaptation, and fingerprint swapping. Experiments are conducted under a unified 17-generator protocol, with reference fingerprints available for every generator and 200 test queries per generator, for a total of 3,400 test images. The results show that residual spectral fingerprints are highly informative in the clean non-compressed domain: PCN with magnitude spectra and global QT reaches 86.18% 17-way attribution accuracy and 0.9875 one-vs-rest AUC. However, JPEG recompression introduces a strong spectral domain shift, causing the clean-trained PCN matcher to collapse to near-chance top-1 attribution under compressed queries. AugN5 partially restores compressed-domain attribution and verification, but acts as a domain adaptation strategy rather than a free robustness improvement. In particular, PCE on the real Fourier component with global QT and AugN5 reaches 66.47% mean 17-way attribution accuracy over Q=60-Q=90, making it the most stable compressed-domain attribution configuration in this study. Fingerprint swapping does not improve over the no-swap AugN5 baseline, suggesting that robustness depends primarily on aligning the spectral domains of queries, reference fingerprints, and compressed test images rather than on simply replacing JPEG-grid regions.| File | Dimensione | Formato | |
|---|---|---|---|
|
2026_07_Li(1 author).pdf
solo utenti autorizzati a partire dal 01/07/2027
Descrizione: Thesis pdf
Dimensione
18.08 MB
Formato
Adobe PDF
|
18.08 MB | Adobe PDF | Visualizza/Apri |
I documenti in POLITesi sono protetti da copyright e tutti i diritti sono riservati, salvo diversa indicazione.
https://hdl.handle.net/10589/261028