Inpainting based strategies against adversarial attacks

The last few years have witnessed dramatic improvements in Machine Learning which led to major breakthroughs in many fields including computer vision, speech recognition, and time series forecasting. These achievements, which often outperform human beings, are based on powerful techniques and algorithms which are all grouped in the field named "Deep Learning". However, Machine learning systems are not inherently secure. The great results of Deep Learning has led to the investigation of possible vulnerabilities, finding that those models are susceptible to adversarial attacks which dramatically reduce their performance. Adversarial attacks are a method to craft slightly perturbed inputs which exploit the multi-dimensional boundary shape of the model in order to fool it, without compromising the perception that human beings have of it. Intuitively, adversarial inputs look totally different from the real inputs from the eyes of neural networks despite being similar to humans. Since the discovery of adversarial attacks of neural networks, a plenty of countermeasures and detection techniques have been proposed but reliable defenses to these attacks are an unsolved challenge. In this Thesis we present Defense by Massive Inpainting, a novel approach to harden neural network image classifier from adversarial attacks based on a zero-trust strategy of the input. More specifically, it performs a total erase of the input image and reconstruct it from scratch thanks to the inpainting technique. Experiments on this model shown the improved accuracy that it has against the harder type of such attacks, namely the white box adversarial attacks. Moreover, we compare the results of three different attacks under three different networks against a specific baseline chosen because it is the only using inpainting to restore parts of the images to protect from adversarial attacks. We also propose an evolution of such baseline to allow a faster inference procedure with no loss on accuracy by changing the way in which it selects the areas to inpaint. We called this second framework Saliency Based Localization and Inpainting. Still, this new model is not as successful as Defense by Massive Inpainting in being resilient to adversarial attacks and does not follow a strict zero-trust approach. This result confirms that the robustness of Defense by Massive Inpainting is due to its zero-trust approach, which does not believe in any information embedded in the adversarial image without firstly purify it.

Negli ultimi anni il Machine Learning ha beneficiato di notevoli miglioramenti che hanno portato a importanti scoperte in molti campi, tra cui la visione artificiale, il riconoscimento vocale e la previsione delle serie temporali. Questi risultati, che spesso superano le prestazioni degli esseri umani, si basano su potenti tecniche e algoritmi appartenenti al "Deep Learning". Tuttavia, i sistemi di Machine Learning non sono intrinsecamente sicuri. Infatti, le ottime prestazioni del Deep Learning hanno portato a indagare su possibili vulnerabilità ed è stato scoperto che questi modelli sono suscettibili agli attacchi avversari, tecniche che permettono di ridurne drasticamente le prestazioni. Gli attacchi avversari sono un insieme di tecniche per creare input leggermente perturbati che ingannano la rete neurale, senza compromettere la percezione che gli esseri umani ne hanno. Intuitivamente, gli input avversari sembrano totalmente diversi dagli input originali agli occhi dei modelli di Deep Learning pur essendo molto simili per gli esseri umani. Fin dalla prima scoperta degli attacchi avversari contro le reti neurali, sono state proposte numerose contromisure e tecniche di rilevamento, ma difese affidabili contro questi attacchi sono tutt'ora una sfida irrisolta. In questa Tesi presentiamo Defense by Massive Inpainting, una nuova difesa dagli attacchi avversari per i classificatori di immagini basati su reti neurali che sfrutta una totale assenza di fiducia dell'input. In particolare, la nostra difesa cancella completamente l'input e lo ricostruisce da zero grazie alla tecnica dell'inpainting. Gli esperimenti sulla nostra difesa mostrano una maggiore precisione rispetto allo stato dell'arte contro la tipologia di attacchi più avanzata, vale a dire gli attacchi avversari white-box. Inoltre, riportiamo i risultati del confronto di tre diversi attacchi white-box su tre diverse reti rispetto alla baseline, scelta in quanto è l'unica difesa esistente che utilizza l'inpainting per correggere parti di input, seppur in modo molto diverso dal nostro. Proponiamo anche un'evoluzione di tale baseline per consentire un'inferenza più rapida senza perdite di precisione, modificando il modo in cui essa seleziona le aree dell'input da correggere. Abbiamo chiamato questo secondo framework Saliency Based Localization and Inpainting. Tuttavia, questo nuovo modello non ha lo stesso successo di Defense by Massive Inpainting come robustezza agli attacchi avversari e non segue neanche un rigoroso approccio zero-trust, in quanto segue l'approccio della baseline. Questo risultato conferma che la robustezza di Defense by Massive Inpainting è dovuta al suo approccio zero-trust, che non prende per vera alcuna informazione incorporata nell'input avversario senza prima purificarlo.