Is JPEG-AI going to change multimedia forensics?

Balancing the trade-off between high image quality and small file sizes has always been a significant challenge in the digital imaging and multimedia field. JPEG lossy compression has served well as the industry standard for decades, of- fering a reasonable compromise between the two. However, the need for advanced solutions has become evident as we need to store more digital pictures than ever, in higher quality than ever. The solution lies in the development of image com- pression techniques based on neural networks. Recognizing the potential and the need for these advancements, the JPEG committee decided to develop a new stan- dard for AI-driven image compression, known as JPEG-AI, which is expected to be published at the end of 2024. But as all new developments bring major benefits, they always come with problems of some sort. JPEG traces and artifacts have always been key in image forensics as a way to determine if an image is original or manipulated, but AI-based compression does not operate on classical JPEG meth- ods. Most neural compression techniques are based on autoencoders that compress images by encoding them into a latent space and later reconstructing them using a decoder, so the artifacts introduced are inherently different. This study aims to examine the artifacts introduced by JPEG-AI, including other techniques such as High-Fidelity Generative Image Compression (HiFiC), and understand if they pose a challenge to the multimedia forensic community. In particular, given that the literature established that AI-based compression artifacts are similar to those found in synthetic images, a crucial aspect is to explore how JPEG-AI might mis- lead existing forensic detectors, e.g., by confusing real neurally compressed images with synthetic ones or potentially masking image manipulation like splicing. Our results confirm these hypotheses and aim to raise awareness among practitioners for the near adoption of this standard.

Bilanciare il compromesso tra alta qualità delle immagini e dimensioni ridotte dei file è sempre stata una sfida significativa nel campo dell’imaging digitale. La compressione lossy JPEG ha costituito lo standard di riferimento per decenni, offrendo un compromesso ragionevole tra i due. Tuttavia, la necessità di soluzioni avanzate è diventata evidente, poiché dobbiamo memorizzare immagini più che mai, in una qualità superiore a quella di un tempo. La soluzione risiede nello sviluppo di tecniche di compressione delle immagini basate su reti neurali. Ri- conoscendo il potenziale e la necessità di questi progressi, il compitato JPEG ha deciso di sviluppare un nuovo standard per la compressione delle immagini basato sull’intelligenza artificiale (IA), noto come JPEG-AI, la cui pubblicazione e adozione è prevista per la fine del 2024. Ma, come tutti i nuovi sviluppi che portano grandi benefici, vengono sempre accompagnati da qualche tipo di problema. Le trace e gli artefatti JPEG sono sempre stati elementi chiave nella forensica delle immagini come modo per determinare se un’immagine è originale o manipolata, ma la compressione basata sull’IA non opera secondo i metodi classici del JPEG. La maggior parte delle tecniche di compressione neurale si basa su autoencoder che comprimono le immagini codificandole in uno spazio latente e successivamente ricostruendole tramite un decodificatore, quindi gli artefatti introdotti sono intrinsecamente diversi. Questo studio mira a esaminare gli artefatti introdotti da JPEG-AI, includendo altre tecniche di compression neurale come HiFiC, e a scoprire se rappresentano una sfida per la comunità forense multimediale. In particolare, dato che la letteratura ha dimostrato che gli artefatti generati da tecniche di compressione neurale presentano similarità con quelli rintracciabili nelle immagini generate da reti neurali, un aspetto cruciale è esplorare come JPEG-AI potrebbe fuorviare i detector forensi esistenti, e.g., confondendo le immagini neurali compresse reali con quelle sintetiche, o mascherando potenzialmente la manipolazione delle immagini come lo splicing. I nostri risultati confermano queste ipotesi e mirano a sensibilizzare i ricercatori forensi riguardo la futura adozione di questo standard.