AdvBench: a framework to evaluate adversarial attacks against fraud detection systems

In recent years, digital payments and financial services via the Internet have experienced significant growth which has also led to an increase in the number of online frauds. This threat pushed financial institutions to implement automated defence measures called Fraud Detection Systems (FDSs) that use Machine Learning (ML) models to classify transactions. Researchers have shown that ML models are sensitive to Adversarial Machine Learning (AML) attacks, also in the fraud detection domain. AML attacks against FDSs create fraudulent transactions that evade the target ML model detection (evasion attack). Another type of AML attack exists, poisoning attacks. These attacks decrease the ML models’ prediction capacity by infecting the training set, hence the ML models will be trained on malicious samples. In the fraud detection domain, if the FDS is periodically retrained, a successful evasion attack infects the training set, performing also a poisoning attack. In this thesis, we propose a framework to evaluate the effectiveness of adversarial attacks against banking Fraud Detection Systems, using adversarial algorithms adapted to the banking domain to generate adversarial transactions. We adapted five new algorithms to this domain. In particular, we adapted four gradient-based algorithms and one decisionbased algorithm. To test our framework, we run poisoning attack simulations against five different models in three scenarios based on the knowledge degree of the attacker. Our results show that gradient-based algorithms, even if they reach the goal of stealing money, are, compared with the other class of attacks, decision-based attacks, way less effective, except in the most favourable scenario, where the attacker knows everything about the FDS. This can be explained because the Oracle used in gradient-based attacks is less precise than the one used in decision-based attacks.

Negli ultimi anni, i pagamenti digitali e i servizi finanziari online hanno subito una crescita significativa che ha portato ad un aumento del numbero di frodi online. La minaccia ha spinto le istituzioni finanziarie a implementare misure di difesa automatizzate chiamate Fraud Detection Systems (FDSs), che utilizzano modelli di Machine Learnings (MLs) per classificare le transazioni. Numerosi ricercatori hanno dimostrato che i modelli di ML sono particolarmente vulnerabili agli attacchi di AMLs, anche nel contesto bancario. Questo tipo di attacchi genera delle transazioni fraudolente che riescono a sfuggire alla rilevazione del modello di ML utilizzato dal FDS (evasion attack). Oltre agli evasion attacks, esistono i poisoning attack. Questo tipo di attacchi cause un deterioramento nelle capacità di predizione dei modelli di ML infettando il training set, infatti i modelli di ML utilizzeranno anche gli adversarial samples durante la fase di training. Nel contesto bancario, se il FDS viene periodicamente allenato con le nuove transazioni in entrata, un evasion attack che ha successo infetterà il training set aggiornato, eseguendo anche un poisoning attack. In questa tesi proponiamo un framework per valutare l’efficacia degli adversarial attacks contro i Fraud Detection Systems, utilizzando degli adversarial algorithms adattati al dominio bancario per generare le transazioni fraudolente. Abbiamo adattato cinque nuovi algoritmi a questo dominio. In particolare, abbiamo adattato quattro algoritmi basati sul gradient-based e un algoritmo decision-based. Per testare il nostro framework, eseguiamo delle simulazioni di attacchi di avvelenamento contro cinque diversi modelli di ML in tre scenari basati sul grado di conoscenza dell’attaccante. I risultati mostrano che gli algoritmi basati sul gradiente, anche se raggiungono l’obiettivo di rubare denaro, sono, rispetto all’altra classe di attacchi, molto meno efficaci, tranne nello scenario più favorevole dove l’attaccante sa tutto sul FDS. Questo può essere spiegato perché l’Oracle usato in attacchi basati su gradienti è meno preciso di quello usato negli attacchi decision-based.