Leveraging multimodal Large Language Models for explainable deepfake detection

Deepfake synthesis is rapidly advancing, generating hyper-realistic synthetic media that not only challenge digital security but also raise significant ethical concerns. While conventional detection methods based on handcrafted features and standard CNNs often struggle with interpretability and generalization, our research explores a multimodal strategy that integrates both visual and textual cues to enhance detection performance and transparency. Our approach firstly involves the employ of several state-of-the-art vision-language models under zero-shot and few-shot settings, to assess their ability to identify and explain image manipulations. Following these experiments, we fine-tuned a leading multimodal model, refining its capacity to detect tampering and generate human-understandable explanations. To comprehensively gauge the system’s performance, we adopted a multi-faceted and robust evaluation framework that combines traditional NLP and embedding-based metrics with qualitative assessments from large language models acting as expert judges. Overall, our results show that focused fine-tuning not only enhances the precision of deepfake detection, but also improves the interpretability of the generated explanations. Additionally, our findings support the development of a generalized framework for assessing natural language output.

Negli ultimi anni, la tecnologia deepfake si è evoluta rapidamente, producendo contenuti sintetici estremamente realistici che pongono serie minacce alla sicurezza digitale e sollevano importanti questioni etiche. I metodi tradizionali di rilevamento, basati principalmente su caratteristiche artigianali o reti convoluzionali standard, presentano spesso limiti nella generalizzazione e nella spiegabilità. Questa tesi esplora una strategia multimodale innovativa che combina informazioni visive e testuali per migliorare l’efficacia e la trasparenza del rilevamento. Inizialmente abbiamo valutato diversi modelli multimodali allo stato dell’arte attraverso esperimenti zero-shot e few-shot, analizzandone la capacità di individuare e descrivere manipolazioni nelle immagini. Successivamente, abbiamo effettuato un fine-tuning su uno dei modelli più promettenti, adattandolo specificamente al compito di rilevamento dei deepfake e generazione di spiegazioni dettagliate. Per analizzare rigorosamente i risultati ottenuti, abbiamo definito un framework di valutazione robusto e generalizzabile che integra metriche di NLP tradizionali, tecniche basate su embedding e giudizi qualitativi generati tramite modelli linguistici avanzati. Complessivamente, i risultati dimostrano come il fine-tuning mirato migliori significativamente sia la precisione nel rilevamento dei deepfake che la chiarezza e l'interpretabilità delle spiegazioni fornite, aprendo inoltre la strada a una metodologia generalizzata per valutare le predizioni in linguaggio naturale.