DEF-bench: a defense evaluation framework and benchmark for fraud detection systems

In recent years, Internet banking has become increasingly popular, emerging as the primary method for managing and performing banking operations. At the same time, the possibility of carrying out banking transactions from a device has increased the number of frauds against customers and financial institutions. Due to these threats and the high volume of financial transactions, banks have invested heavily in fraud prevention and detection by developing automatic control systems to assist human operators. Therefore, solutions based on Machine Learning (ML) have been chosen, a branch of artificial intelligence that develops algorithms capable of learning patterns starting from input data. These algorithms are trained on datasets, enabling real-time classification of transactions and identification of frauds. However, cybercriminals constantly seek ways to evade such systems, requiring researchers to develop new defenses to counter them, leading to the creation of a specialized research field called Adversarial Machine Learning (AML). Despite the widespread adoption of ML solutions, a standardized procedure is needed to evaluate and compare them to support informed decisions about the most effective defenses. To address this, in this thesis we present a modular framework to benchmark mitigation techniques against adversarial attacks in fraud detection systems, allowing the comparison of ML models and defense strategies in different attack scenarios. In particular, we implemented six mitigation strategies and two poisoning attacks using a dataset of real transactions belonging to an Italian bank, simulating a realistic banking scenario. The simulations cover scenarios with different levels of attacker knowledge and attack strategies, enabling the evaluation and comparison of techniques in terms of effectiveness, resilience, and economic impact reduction. Our results indicate that the effectiveness of the mitigations adopted varies significantly, primarily depending on the type of attack encountered. In the case of the Feature-Based Poisoning Attack (FBPA), the most effective mitigation is the Hardening Techniques combined with a Neural Network model, capable of reducing the total amount of money stolen by 28%onaverage. In particular, in a black-box scenario, this mitigation reduces losses by up to 47%. The De-Pois mitigation also performs well, resulting in a 28% reduction in a gray-box scenario. In the white-box scenario, the most effective mitigation is the Region-based Classifier, which achieves a 23% decrease in losses. As for the Optimization-Based Poisoning Attack (OPBA), the best results are achieved with the Rad-X mitigation, which reduces losses by 56% on average, proving to be the most effective in all scenarios analyzed. In black-box and gray-box scenarios, Rad-X achieves near-perfect performance, reducing the stolen amount by 96% and almost 100%, respectively. In the white-box scenario, instead, it still maintains reasonable effectiveness, achieving a 13% reduction.

Negli ultimi anni, l’Internet banking è diventato sempre più popolare, divenendo il principale strumento per gestire ed effettuare le operazioni bancarie. Allo stesso tempo, la possibilità di effettuare transazioni bancarie da dispositivi digitali ha comportato un aumento delle frodi ai danni dei clienti e degli istituti finanziari. A causa di queste minacce e all’elevato numero di operazioni finanziarie, le banche hanno dovuto investire nella prevenzione e nel rilevamento delle frodi, sviluppando sistemi di controllo automatico a supporto degli operatori umani. Si è quindi optato per delle soluzioni basate sul Machine Learning (ML), una branca dell’intelligenza artificiale che sviluppa algoritmi in grado di apprendere modelli a partire da dati in input. Questi algoritmi vengono addestrati su dataset, consentendo la classificazione in tempo reale di grandi volumi di transazioni e l’identificazione di frodi. Tuttavia, i criminali informatici cercano costantemente di eludere tali sistemi, costringendo i ricercatori a sviluppare nuove difese per contrastarli, portando alla creazione di un campo di ricerca specializzato chiamato Adversarial Machine Learning (AML). Nonostante l’ampia diffusione di soluzioni ML nel settore, risulta necessaria anche una metodologia per confrontare le soluzioni e prendere decisioni informate sulla migliore difesa da implementare. Per questo motivo, in questa tesi presentiamo un framework modulare per il benchmarking di tecniche di mitigazione contro attacchi avversariali nei sistemi di rilevamento delle frodi, permettendo il confronto di modelli ML e strategie di difesa in diversi scenari di attacco. In particolare, abbiamo implementato sei strategie di mitigazione e due attacchi di avvelenamento utilizzando un dataset di transazioni reali appartenenti ad una banca Italiana, simulando uno scenario bancario reale. Le simulazioni coprono scenari con diversi livelli di conoscenza dell’attaccante e strategie di attacco, confrontando le prestazioni in termini di efficacia, resilienza e riduzione dell’impatto economico. I nostri risultati mostrano che le mitigazioni adottate presentano prestazioni sensibilmente differenti, soprattutto in funzione del tipo di attacco subito. Nel caso del Feature-Based Poisoning Attack (FBPA), la mitigazione più efficace risulta essere quella basata su Hardening Techniques con modello Neural Network, capace di ridurre in media il denaro totale rubato del 28%. In particolare, in uno scenario black-box, questa difesa riesce a contenere le perdite fino al 47%. Anche la mitigazione De-Pois mostra buoni risultati, con una riduzione pari al 28% in uno scenario gray-box. Nello scenario white-box, invece, si distingue la mitigazione Region-based Classifier, che registra una riduzione delle perdite pari al 23%. Per quanto riguarda l’Optimization-Based Poisoning Attack (OPBA), le prestazioni migliori si ottengono con la mitigazione Rad-X, che riduce in media le perdite del 56%, rivelandosi la più efficace in tutti gli scenari analizzati. Negli scenari black-box e gray-box, Rad-X raggiunge performance quasi perfette, con una riduzione del denaro rubato rispettivamente del 96% e quasi 100%. Nello scenario white-box, invece, ottiene risultati discreti, con una riduzione pari al 13%.