Exploring signal purification against adversarial attacks for speech deepfake detection

Recent advances in deep learning and generative systems have enabled the creation of increasingly realistic synthetic media. As these technologies become more accessible, their misuse poses significant risks, making the ability to distinguish between real and synthetic content paramount. In the audio domain, speech deepfake generation techniques allow the synthesis of signals, which can mimic the voice of a target speaker and make them say arbitrary sentences. Speech deepfake detection techniques focus on identifying fake signals by identifying subtle artifacts typically absent in genuine human speech. However, this is an ongoing challenge, as detection systems must continually adapt to evolving threats. With detection methods now widely deployed, malicious users have begun crafting adversarial attacks explicitly designed to bypass even the most advanced methods. By subtly introducing nearly imperceptible noise into speech samples, these attacks can cause detectors to fail the detection process and misclassify synthetic speech as genuine or vice versa. To counter the use of adversarial attacks, defense mechanisms have been presented in the literature. These aim to process the input speech signals to mitigate the malicious effect caused by the adversarial attacks. In this thesis, we contribute to this research field and propose multiple adversarial defense strategies. Our approach builds incrementally, starting with simple model re-training, progressing to the use of state-of-the-art speech enhancement models, and finally adapting an input refactoring technique originally developed in the image forensics domain. The analysis of these techniques offers valuable insights, demonstrating the potential to increase the classification accuracy of the considered detectors up to 45\% in balanced accuracy.

I recenti miglioramenti nei campi del deep learning e dei modelli generativi hanno reso possibile la creazione di contenuti sintetici sempre più realistici. Con l'aumento dell'accessibilità di queste tecnologie, il loro potenziale abuso crea dei rischi significativi, rendendo imperativo avere la possibilità di distinguere tra contenuto reale e sintetico. Nel campo dell'audio, le tecniche di generazione di speech deepfake consentono la sintesi di segnali che possono imitare la voce di un bersaglio e far sì che pronunci frasi arbitrarie. Le tecniche di rilevamento di speech deepfake si concentrano nell'identificazione di segnali sintetici attraverso l'analisi di artefatti tipicamente assenti nei segnali audio che rappresentano un parlato reale. Tuttavia, questo è un campo in continua evoluzione: i rilevatori devono adattarsi costantemente per contrastare minacce sempre più sofisticate. Con l’adozione diffusa dei metodi di rilevamento, gli utenti malintenzionati hanno iniziato a utilizzare i cosiddetti adversarial attacks, progettati per eludere anche i sistemi più avanzati. Introducendo del rumore quasi impercettibile nei sample considerati, questi attacchi possono far si che i rilevatori falliscano nel processo di identificazione, classsificando il parlato sintetico come genuino e viceversa. Per contrastare l'uso degli adversarial attacks, sono stati presentati nella letteratura dei meccanismi di difesa. Quest'ultimi hanno lo scopo di processare i segnali audio in input allo scopo di mitigare gli effetti degli adversarial attacks. In questa tesi, contribuiremo a questo campo di ricerca e proporremo multiple strategie di difesa. Il nostro approccio sarà incrementale, cominciando con un semplice readdestramento del modello, usando modelli di enfatizzazione del parlato allo stato dell'arte, ed infine adottando una tecnica di refactoring dell'input originariamente sviuppata per l'uso nel campo dell'analisi forense delle immagini. L'analisi di queste tecniche fornirà informazioni preziose, con un potenziale di aumento dell'accuratezza nella classificazione dei rilevatori considerati fino al 45\% usando come metrica la balanced accuracy.