Phalanx : a non-parametric model with increased adversarial robustness

In the last years, machine learning has reached state of the art performances in many fields, such as Computer Vision and Speech Recognition, often outperforming human beings. Its success has led to the investigation of possible vulnerabilities, exposing the existence of adversarial attacks. Adversarial attacks are slightly perturbed inputs which exploit blind areas of the learnt model to fool it, without affecting the human perception of it. In order to protect learning systems from these phenomena, many defence and detection techniques have been proposed. We present in this thesis Phalanx, a novel approach to secure machine learning from adversarial attacks based on non-parametric models. More specifically, it is an embedding of an auto-encoder for dimensionality re- duction, a k-Nearest Neighbor (kNN) for classification, and a convolutional neural network for detection. This model is immune to white-box adversarial attacks by construction because of the non-differentiability of the kNN. Moreover, we show the compared results of a black-box attack against our novel framework and the same type of attack against a classic CNN, proving the potential of it regarding robustness to adversarial attacks. We also propose an evolution of the framework to allow a faster inference procedure rebasing all the components of Phalanx on neural networks - that is, removing the non-parametric component. We called this framework Neural Phalanx. Unfortunately, this new model is not as successful as its ancestor in being resilient to adversarial attacks. This result shows that the improved robustness of Phalanx is probably due to its non-parametric nature, putting light on this type of models as a potential solution to adversarial attacks in future research.We present in this thesis Phalanx, a novel approach to secure machine learning from adversarial attacks based on non-parametric models. More specifically, it is an embedding of an auto-encoder for dimensionality reduction, a kNN for classification and a convolutional neural network for detection. This model is immune to white-box adversarial attacks by construction because of the non-differentiability of the kNN. Moreover, we show the compared results of a black-box attack against our novel framework and the same type of attack against a classic CNN, proving the potential of it regarding robustness to adversarial attacks. We also propose an evolution of the framework to allow a faster inference procedure rebasing all the components of Phalanx on neural networks - that is, removing the non-parametric component. We called this framework Neural Phalanx. Unfortunately, this new model is not as successful as its ancestor in being resilient to adversarial attacks. This result shows that the improved robustness of Phalanx is probably due to its non-parametric nature, putting light on this type of models as a potential solution to adversarial attacks in future research.

Negli ultimi anni il machine learning ha raggiunto prestazioni da stato dell’arte in molti campi, tra cui la visione artificiale e il riconoscimento vocale, superando spesso le normali capacità di un essere umano. Il suo successo ha dato inizio ad un processo di investigazione alla ricerca di possibili vulnerabilità, portando alla scoperta dell’esistenza dei cosiddetti adversarial attacks. Questi attacchi avversari consistono in piccole perturbazioni dei dati in ingresso a un modello, che sfruttano i punti ciechi dello stesso per fuorviarlo e indurlo a sbagliare la sua predizione, senza però essere percepibili per un umano. Al fine di proteggere i sistemi di apprendimento artificiale da questo tipo di vulnerabilità, sono stati proposti molti metodi di difesa e di rilevazione contro questi attacchi. In questa tesi presentiamo Phalanx, un approccio innovativo basato su modelli non parametrici per rendere il machine learning più robusto agli attacchi avversari. Per essere più specifici, Phalanx è una composizione di un auto-encoder per ridurre la dimensionalità dei dati, un k-Nearest Neighbor (kNN) per classificare i dati e una rete neurale convoluzionale per rilevare eventuali attacchi. Questo modello è immune da attacchi di tipo white-box per costruzione, data la non differenziabilità di kNN. Presentiamo inoltre i risultati di un attacco di tipo black-box contro il modello da noi proposto comparati con quelli dello stesso attacco contro una classica rete convoluzionale, dimostrando le potenzialità della nostra architettura di essere più robusta degli attuali modelli. In aggiunta alla precedente architettura presentiamo una sua evoluzione che permetterebbe alla procedura di inferenza di essere più rapida rispetto a kNN. Questa evoluzione consiste nel sostituire la componente non parametrica con reti neurali, da cui il nome Neural Phalanx. Sfortunatamente questo nuovo modello non è robusto quanto il suo predecessore. Questo risultato dimostra che la maggior robustezza di Phalanx è probabilmente dovuta alla sua natura non parametrica, mettendo in luce questo tipo di modelli come potenziale soluzione alla minaccia degli attacchi avversari.In questa tesi presentiamo Phalanx, un approccio innovativo basato su modelli non parametrici per rendere il machine learning più robusto agli attacchi avversari. Per essere più specifici, Phalanx è una composizione di un auto-encoder per ridurre la dimensionalità dei dati, un kNN per classificare i dati e una rete neurale convoluzionale per rilevare eventuali attacchi. Questo modello è immune ad attacchi di tipo white-box per costruzione, data la non differenziabilità di kNN. Presentiamo inoltre i risultati di un attacco di tipo black-box contro il modello da noi proposto comparati con quelli dello stesso attacco contro una classica rete convoluzionale, dimostrando le potenzialità della nostra architettura di essere più robusta degli attuali modelli. In aggiunta alla precedente architettura presentiamo una sua evoluzione che permetterebbe alla procedura di inferenza di essere più rapida. Questa evoluzione consiste nel sostituire la componente non parametrica con reti neurali, da cui il nome Neural Phalanx. Sfortunatamente questo nuovo modello non è robusto quanto il suo predecessore. Questo risultato dimostra che la maggior robustezza di Phalanx è probabilmente dovuta alla sua natura non parametrica, mettendo in luce questo tipo di modelli come potenziale soluzione alla minaccia degli attacchi avversari.