An investigation and comparison of explanation methods for deepfake detection

Deepfakes are computer manipulated videos where the face of an individual has been replaced with that of another one. Software for creating such forgeries is easy to use and increasingly popular, causing serious threats to personal reputation and public security. The quality of classifiers for detecting deepfakes has improved with the releasing of ever larger datasets, but the understanding of why a particular video has been labelled as fake has not kept pace. In this work we develop, extend and compare white-box, black-box and model-specific techniques for explaining the labelling of real and fake videos. In particular, we adapt SHAP, GradCAM and self-attention models to the task of explaining the predictions of state-of-the-art detectors based on EfficientNet, trained on the Deepfake Detection Challenge (DFDC) dataset. We compare the obtained explanations, proposing metrics to quantify their visual features and desirable characteristics, and also perform a user survey collecting users' opinions regarding the usefulness of the explainers.

I deepfake sono video manipolati al computer in cui il volto di un individuo viene sostituito con quello di un altro. I software per la creazione di tali falsificazioni sono semplici da usare e sempre più popolari, costituendo una grave minaccia per la reputazione individuale e per la sicurezza pubblica. La qualità dei classificatori per il rilevamento di deepfake è migliorata con la diffusione di dataset sempre più grandi, tuttavia la nostra capacità di comprendere le motivazioni per cui un video viene etichettato come falso non ha retto il ritmo. In questo lavoro vengono sviluppate, estese e confrontate tecniche di tipo white-box, black-box e dipendenti dal modello per spiegare l'attribuzione di etichette a video reali e falsi. In particolare, adattiamo SHAP, GradCAM e modelli di self-attention al compito di spiegare le predizioni di rilevatori all'avanguardia basati su EfficientNet, addestrati sul dataset Deepfake Detection Challenge (DFDC). Confrontiamo le spiegazioni ottenute, proponendo metriche per quantificare il loro aspetto visivo e caratteristiche desiderabili, inoltre effettuiamo un sondaggio tra gli utenti raccogliendo le loro opinioni sull'utilità delle diverse tecniche di spiegazione.