Perception visualizations for siamese networks. Seeing through the eyes of a convolutional neural network

Today’s artificial intelligence models power the world we live in; deep neural networks transform the way we solve problems by harnessing the vast amount of data available to people of the information age, and by somewhat mimicking the brain’s functioning. Deep learning models are able to solve tasks in an ever-expanding landscape of scenarios, but our eagerness to widely apply these powerful models makes us only focus on the correct functioning of the systems and leaves behind the capability of understanding them. In certain circumstances, understanding how the system derived his conclusions is not vital, and a functioning model might be enough. However, more and more often, this kind of models are being used in fields where decisions are crucial, and errors even more so. In this case, understanding why a model took the specific path that led to its decision might be essential in developing a model that is safe and trusted. A worrying consequence of the inability of explaining the decisions of these systems takes form in adversarial attacks: a set of techniques that can trick deep neural networks by focusing on their sensitivity to targeted noise. These attacks can completely change the output of a network by modifying the input ever so slightly that even the most attentive of humans could not notice. In this work, we develop a set of techniques to better understand the functioning and “reasoning” of a specific set of models, namely convolutional neural networks (CNN) and Siamese networks. We propose a modification on the general architecture of these models to increase their interpretability, and a novel explainability technique based on a saliency map generated through the study of adversarial attacks.

I modelli di intelligenza artificiale odierni sono alla base del mondo tecnologico in cui viviamo; le reti neurali deep hanno trasformato le modalità in cui gli ingegneri risolvono i problemi postigli permettendo loro di sfruttare tutto il potenziale proveniente dalla grande quantità di dati disponibile, e in qualche modo anche imitando il funzionamento del cervello. Le reti neurali sono in grado di risolvere problemi in uno scenario di compiti sempre più grande; questo però ci rende impazienti, avari di risultati, e costringe a lasciare indietro alcune aree dello studio di questi modelli, in particolare quelle che mirano a capire le decisioni di questi ultimi. In particolari circostanze, comprendere perché il sistema ha ottenuto un determinato risultato non è di vitale importanza; in tal caso un modello funzionante potrebbe essere abbastanza. In molti altri casi, però, sistemi di questo tipo vengono applicati in campi dove le decisioni prese sono cruciali, e a maggior ragione lo sono gli errori. In questi casi, per sviluppare modelli sicuri e fidati, è importante comprendere il perché delle decisioni prese. Una grave conseguenza dovuta alla difficoltà di comprendere queste reti prende forma nei cosiddetti attacchi avversari: una serie di techniche che permettono di confondere una rete neurale colpendo le debolezze che questi modelli presentano nei confronti di specifici disturbi. Questi attacchi permettono di cambiare drasticamente i risultati di questi modelli agendo minimamente sui loro input; cosí poco, infatti, che neanche il più attento degli utenti potrebbe accorgersi della differenza. In questa tesi, il nostro obiettivo sarà quello di sviluppare una serie di tecniche per meglio comprendere il funzionamento e il “pensiero” di un specifico insieme di modelli deep, identificato dalle reti neurali convoluzionali (CNN) e dalle reti siamesi. I nostri contributi consistono principalmente nello sviluppo di una nuova architettura per questi modelli in grado di migliorare la loro comprendibilità, e in nuove techniche di explainability basate sugli attacchi avversari che permettono di meglio comprendere le decisioni prese da questa tipologia ti reti neurali.