A real-world application of anomaly detection on digital payments data

Anomaly detection is used these days for conducting a daily monitoring routine in various sectors, one of which is the digital payments industry. The scope of this thesis is to show a real-world application of anomaly detection on digital payments data, which is the project conducted as a member of the Analytics team at Moviri company. For this work, data is analyzed in the form of seasonal time series, where data points are an aggregation of digital payments (transactions) recorded every 20 minutes for each physical or e-commerce store in a pre-defined group of merchants acting in Italy. This study aims to automatically find anomalous increases in the number of refused transactions or anomalous decreases in the number of successful transactions for each time series. The work done comprises the design and implementation of a system based on the S-H-ESD (Seasonal Hybrid Extreme Studentized Deviation) algorithm for anomaly detection and the Splunk platform for data analysis and visualization. This system manages the data (a payment) life-cycle through the following steps: acquisition from the data source, aggregation to build time series, execution of the S-H-ESD algorithm, visualization of time series with anomalies found, anomalies reporting through the use of alarms. The results show that this system for anomaly detection is reliable for those time series with a significant seasonality; wherever the seasonality is not so strong, inaccuracies in the anomalies found are mitigated using thresholds on the minimum number of total transactions.

L’Anomaly Detection (rilevamento delle anomalie) viene al giorno d’oggi usata per eseguire routine giornaliere di monitoraggio in diversi settori, uno dei quali è l’industria dei pagamenti digitali. Lo scopo di questa tesi è quello di mostrare un’applicazione reale dell’Anomaly Detection sui dati dei pagamenti digitali, che è il progetto svolto in quanto membro del team di Analytics di Moviri S.p.A. Per questo lavoro, i dati vengono analizzati sotto forma di serie temporali stagionali, in cui i punti di dato sono l’aggregazione dei pagamenti digitali (transazioni) registrati ogni 20 minuti per ogni negozio fisico o di e-commerce in un gruppo predefinito di commercianti che operano in Italia. Lo scopo di questo studio è quello di trovare automaticamente aumenti anomali nel numero di transazioni rifiutate o diminuzioni anomale nel numero di transazioni andate a buon fine, per ogni serie temporale. Il lavoro svolto comprende la progettazione e l’implementazione di un sistema, basato sull’algoritmo S-H-ESD (Seasonal Hybrid Extreme Studentized Deviation) per il rilevamento delle anomalie e sulla piattaforma Splunk per l’analisi e la visualizzazione dei dati. Tale sistema gestisce il ciclo di vita del dato (un pagamento) attraverso le seguenti fasi: acquisizione dalla fonte dato, aggregazione per costruire le serie temporali, esecuzione dell’algoritmo S-H-ESD, visualizzazione delle serie temporali con le anomalie trovate, segnalazione delle anomalie attraverso l’uso di allarmi. I risultati di questo sistema di Anomaly Detection sono affidabili per quelle serie temporali che presentano una significativa stagionalità; laddove la stagionalità non è così forte, le imprecisioni nelle anomalie trovate vengono mitigate attraverso l’uso di soglie sul numero minimo di transazioni totali.