Advanced learning methods for anomaly detection in multivariate datastreams and point clouds

Anomaly detection is a challenging problem in several application domains, ranging from industrial quality control to cryptographic attacks. In the literature, several statistical and deep learning models for anomaly detection have been proposed, each underpinning specific assumptions on the nature of the data to be analyzed. This thesis presents new solutions for the anomaly-detection problem in two different settings. First, we assume that, in normal conditions, data samples are realizations of a random vector. We focus on a change-detection problem, where the goal is to detect permanent changes in the data-generating process by analyzing a datastream acquired over time. We develop QuantTree Exponentially Weighted Moving Average (QT-EWMA), an online and nonparametric change-detection algorithm for multivariate datastreams that can be configured to maintain the target Average Run Length (ARL0), namely the expected time before a false alarm. We extend our work to the concept-drift scenario, where the data samples are the object of a classification problem. We propose Class Distribution Monitoring (CDM), where we employ multiple instances of QT-EWMA to detect changes in the class-conditional distributions of annotated datastreams. As a new change-detection application, we address the problem of detecting errors in sequential cryptographic side-channel attacks. These attacks reconstruct a private key one bit at a time by using a distinguisher involving, e.g., the power consumption of the target device. We propose an error-detection and correction procedure based on a standard change-detection algorithm applied to the univariate datastream formed by distinguisher values. Then, we address anomaly detection in point clouds, namely lists of the coordinates of points describing, for instance, the surface of a 3D object. We aim to assess whether individual point clouds belong to a certain normal class. The main challenge of handling point clouds is their lack of a grid structure, which prevents the use of traditional Convolutional Neural Networks (CNNs). We propose the composite layer, an effective and flexible operator for point cloud processing in Deep Neural Networks (DNNs). We use our composite layers to implement CompositeNets, which are DNNs for point cloud classification. Most remarkably, we are among the first to address anomaly detection in point clouds by training our CompositeNets in a self-supervised fashion. As an anomaly-detection application, we analyze Wafer Defect Maps (WDMs), i.e., the lists of the 2D coordinates of defects on silicon wafers manufactured by STMicroelectronics. We cast anomaly detection as an open-set recognition problem, where the goal is to correctly classify known defect patterns and detect anomalous patterns in WDMs. The coordinates in WDMs lie on a huge grid, which prevents the use of CNNs. To efficiently process WDMs at full resolution, we train a Submanifold Sparse Convolutional Network (SSCN) on known classes. To detect anomalous patterns, we apply an outlier detector based on a Gaussian Mixture Model (GMM) to the latent representation of the SSCN.

Il rilevamento di anomalie è un problema importante in vari domini applicativi, dal controllo della qualità nell’industria agli attacchi crittografici. Nella letteratura sono stati proposti diversi modelli statistici e di deep learning per il rilevamento di anomalie, ciascuno basato su specifiche ipotesi sui dati da analizzare. Questa tesi presenta nuove soluzioni al problema del rilevamento di anomalie in due diversi scenari. Inizialmente abbiamo supposto che, in condizioni normali, i dati siano realizzazioni di un vettore aleatorio, e abbiamo affrontato il problema del rilevamento di cambiamenti, il cui scopo è individuare cambiamenti permanenti nella distribuzione dei dati analizzando una sequenza di dati acquisiti nel tempo. Abbiamo sviluppato QuantTree Exponentially Weighted Moving Average (QT-EWMA), un algoritmo per il rilevamento di cambiamenti che opera online e in maniera non parametrica su sequenze di dati multivariati. QT-EWMA può essere inoltre configurato fissando l’Average Run Length (ARL0), ovvero il tempo atteso prima di un falso allarme. Abbiamo poi esteso questo lavoro alllo scenario del rilevamento di concept drift, in cui i dati sono oggetto di un problema di classificazione. Abbiamo proposto Class Distribution Monitoring (CDM), un algoritmo in cui utilizziamo diverse istanze di QT-EWMA per individuare cambiamenti nella distribuzione condizionata alle classi in sequenze di dati etichettati. Infine, come nuova applicazione del rilevamento di cambiamenti, abbiamo affrontato il problema del rilevamento degli errori in attacchi crittografici side-channel sequenziali. Tali attacchi ricostruiscono una chiave privata un bit alla volta utilizzando un discriminatore basato, ad esempio, sul consumo di potenza del dispositivo sotto attacco. Abbiamo proposto una procedura per il rilevamento e la correzione automatica degli errori che applica un algoritmo standard per il rilevamento di cambiamenti alla sequenza univariata formata dai valori del discriminatore. Successivamente, abbiamo affrontato il rilevamento di anomalie nelle nuvole di punti, ovvero liste di coordinate dei punti che descrivono, ad esempio, la superficie di un oggetto 3D. Lo scopo è stabilire se una nuvola di punti appartiene a una certa classe normale oppure no. La difficoltà maggiore di operare su nuvole di punti è la mancanza di una struttura a griglia, fatto che impedisce l’uso di Convolutional Neural Network (CNN). Abbiamo proposto il composite layer, un operatore efficace e flessibile per processare le nuvole di punti all’interno di Deep Neural Network (DNN). Abbiamo utilizzato il composite layer per implementare CompositeNet, che sono DNN per la classificazione di nuvole di punti. Inoltre, siamo stati tra i primi ad affrontare il rilevamento di anomalie nelle nuvole di punti addestrando CompositeNet in maniera self-supervised. Come applicazione del rilevamento di anomalie, abbiamo poi analizzato le Wafer Defect Map (WDM), ovvero le liste di coordinate 2D dei difetti sui wafer di silicio prodotti da STMicroelectronics. Abbiamo affrontato il rilevamento di anomalie come un problema di open-set recognition, il cui scopo è classificare correttamente i pattern di difettosità conosciuti e individuare pattern anomali nelle WDM. Le coordinate contenute nelle WDM appartengono a una griglia di dimensioni enormi, fatto che impedisce l’uso di CNN. Per processare in maniera efficiente le WDM nella loro risoluzione originale, abbiamo addestrato una Submanifold Sparse Convolutional Network (SSCN) sulle classi note. Poi, per rilevare i pattern anomali, abbiamo applicato un algoritmo per il rilevamento di outlier basato su un Gaussian Mixture Model (GMM) alla rappresentazione latente della SSCN.