Poisoning attacks against banking fraud detection systems

Machine Learning (ML) models are powerful tools that automatically extract patterns from data and learn complex relationships between samples. For these reasons, they have found applications in many fields, such as speech recognition, computer vision, marketing analysis, natural language processing, and anomaly detection. Also, ML solutions are nowadays widely used to detect banking frauds. Unfortunately, they are vulnerable to “adversarial samples”, i.e., inputs maliciously crafted with the explicit purpose of deceiving the learning models. These inputs are even more dangerous due to a characteristic known as “transferability property”: adversarial samples affecting a family of ML models are also effective against other models with different structures, as long as they perform similar tasks. In literature, many works study how to craft adversarial samples to perform evasion and poisoning attacks. In this work, we extend the application of Adversarial Machine Learning (AML) techniques to the specific context of online banking fraud detection. In this field, there is an open and dynamic arms race between professional fraudsters and cybersecurity experts, which makes the study of AML attacks challenging but also beneficial. In particular, we propose poisoning attacks against ML-based Fraud Detection System (FDS)s to increase the awareness about this potential attack vector. We present a novel approach for generating poisoning samples that takes into account the specific constraints of our context. To the best of our knowledge, this is the first work about poisoning attack against FDSs. We design our approach combining together a Machine Learningbased tool (Oracle) that replicates the target FDS, and parametric decision rules. An attacker uses the latter to generate the frauds and the former to validate them. He or she saves the frauds filtered by the Oracle, which are simultaneously evasion and poisoning samples, due to our domain restrictions. The attacker commits the saved frauds against the target FDS, that miss-classifies them (evasion). Then, these frauds are integrated into the FDS training set, shifting its decision boundaries (poisoning). We evaluate our approach assuming different threat models. The attacker has different level of knowledge of the system under attack, i.e., perfect knowledge (white-box), partial knowledge (grey-box), or no knowledge (black-box). Also, we design three different attacker strategies (conservative, medium, and greedy), which change the number of frauds committed and the amount stolen at each transaction. We simulate attacks against FDSs based on six different ML algorithms, i.e., Logistic Regression, Neural Network, Random Forest, Support Vector Machine, eXtreme Gradient Boosting, and Banksealer. Finally, we assume two different update policies (weekly and bi-weekly), i.e., how frequently the target FDS includes new data. Our results show that our approach works even when the attacker has an extremely limited knowledge of the target system. The attacks are detected between 45% and 100% of the times, but they last enough time (in average, between two weeks and a month) to steal significant amounts of money. Furthermore, the attacker increases the amount stolen during his attack thanks to the poisoning process, up to 160% per week, showing the vulnerability of FDSs to this kind of attack vector.

Negli ultimi anni, sempre più transazioni bancarie sono effettuate attraverso Internet. La loro diffusione ha tuttavia dato origine a nuovi tipi di attacchi informatici. Si stima che nel 2018, 2.2 € su 1,000 € trasferiti tramite Internet in Italia appartengano a frodi. Le frodi bancarie elettroniche sono un fenomeno globale, che costa ogni anno miliardi di dollari a banche, governi e persone. Le banche sono le istituzioni con più perdite (dirette e indirette) legate a queste frodi. Di conseguenza, esse solitamente implementano vari sistemi di protezione per prevenirle (e.g., permettere l’accesso al sistema bancario solo a dispositivi precedentemente registrati) oppure rilevalre (e.g., monitorare le transazioni per identificare eventi sospetti). Poiché le banche ricevono quotidianamente decine di migliaia di transazioni da processare, risulterebbe impossibile effettuare una loro revisione manuale. Per questo motivo, le banche solitamente sfruttano strumenti di protezione automatizzati, conosciuti come Sistemi Antifrode (in inglese, “Fraud Detection System”). Essi si basano solitamente su tecniche statistiche e di Apprendimento Automatico (in inglese, “Machine Learning”). Quando una banca riceve una transazione, il sistema di rilevamento antifrode la analizza, e la approva (o respinge) automaticamente nel giro di pochi secondi. Sfortunatamente, i sistemi antiforde non sono accurati al 100%, quindi non sempre riescono a impedire frodi bancarie. Infatti, i modelli costruiti con algoritmi di ML tendono a perdere efficacia se esposti ad ambienti ostili, ovvero ambienti in cui qualcuno cerca deliberatamente di ingannarli. Questo tipo di attacchi è noto come attacchi di Apprendimento Automatico Ostile, (Adversarial Machine Learning (AML)). L’attaccante produce intenzionalmente dei “campioni ostili” (adversarial samples), cioè campioni apparentemente legittimi ma perturbati impercettibilmente. Qualora l’attaccante sfrutti questi campioni per ingannare il modello sotto attacco, si parla di evasion attacks. Invece, se l’attaccante è in grado di manipolare il training set del modello attaccato, può inserire in esso dei campioni ostili o modifcare dei campioni legittimi già esistenti. In questo caso, si parla di poisoning attacks. La così detta “proprietà di trasferimento” (transferability property) rende questi attacchi ancora più pericolosi. Secondo questa proprietà, campioni ostili erroneamente classificati da una famiglia di algoritmi, vengono spesso classificati erroneamente anche da altre famiglie [24, 46], a patto che entrambe effettuino compiti simili. Lo studio di Szegedy et al. ha inspirato molti altri lavori nel campo dell’AML. La maggior parte di essi ha tecniche di AML contro modelli che classificano immagini, ma recentemente sono stati pubblicati lavori riguardanti attacchi in altri contesti, come la rilevazione di malware [27] o di frodi bancarie. Questa tesi ha come obiettivo l’estensione di attacchi di poisoning al contesto specifico delle frodi bancarie elettroniche. Per quanto ne sappiamo, questo è il primo lavoro pubblicato su questo argomento. In questa tesi, presentiamo un nuovo approccio per creare campioni di poisoning, sfruttando una combinazione di tecniche di ML e euristiche. Come idea generale, un attaccante crea campioni che vengono poi iterativamente modificati per renderli il meno sospettosi possibile. In seguito, egli o ella sottopone questi campioni al FDS sotto attacco. Se essi sono classificati come transazioni legittime (evasion), vengono inseriti nel training set del FDS, che viene così alterato intenzionalmente (poisoning). Un attaccante può sfruttare queste alterazioni per aumentare l’importo delle proprie frodi durante l’attacco. Abbiamo progettato il nostro approccio per risolvere le numerose sfide tipiche del contesto delle frodi bancarie elettroniche. Un attaccante non può infatti interagire direttamente con il sistema antifrode né possiede una conoscenza completa del sistema che sta attaccando. Per verificare la bontà del nostro apporoccio, simuliamo diversi tipi di attacchi. Gli attacchi differiscono per il livello di conoscenza del FDS da parte dell’attaccante (e.g., che tipo di algoritmo sta venendo usato), e spaziano da conoscenza completa (white-box), a conoscenza parziale (grey-box) a nessuna conoscenza (black-box). Inoltre, consideriamo attaccanti con priorità differenti. Essi possono agire per massimizzare i propri guadagni nel breve periodo, oppure adottare un approccio più cauto. Infine, valutiamo il nostro approccio contro sei tipi di FDS, basati su algoritmi differenti di ML (Random Forest, Logistic Regression, Artificial Neural Network, Support Vector Machine, eXtreme Gradient Boosting e Banksealer). Questi FDS vengono aggiornati a seconda di due diverse politiche, ovvero una volta a settimana o una volta ogni due settimane. Grazie alla collaborazione con una delle maggiori banche italiane, possiamo sperimentare il nostro approccio usando due dataset di transazioni bancarie reali. A seconda delle diverse combinazioni di conoscenza dell’attaccante, strategia impiegata, FDS sotto attacco e politiche di aggiornamento, gli attacchi ottengono risultati finali differenti. Quando l’attaccante ha conoscenza totale del sistema, egli riesce a rubare più di un milione e mezzo di euro da 30 vittime estratte casualmente. Quando invece ha solo una conoscenza parziale, gli attacchi vengono rilevati tra il 45% e 100% dei casi. Tuttavia, in media durano tra le due settimane e un mese prima di essere scoperti e bloccati. L’attaccante è quindi in grado di rubare una cospiqua somma di denaro, generalmente tra 75,000 € e 400,000 €. Frodi che hanno come destinatari dei conti esteri ottengono risultati di molto inferiori a frodi con destinatari italiani. Infine, offriamo una discussione approfondita riguardo l’uso di user-centric o systemcentric FDS per rilevare i nostri attacchi. User-centric FDS creano profili personalizzati per ogni utente e poi classificano come frodi le transazioni che deviano da essi. Invece, system-centric FDS non concentrano la loro attenzione sugli utenti ma sull’intero sistema bancario.