Training neural networks with manipulated explanations

Machine Learning (ML) explainability is becoming an increasingly importantresearch topic. However, popular ML explainability approaches are not robust.In this thesis, I adversarially train neural networks to manipulate a number ofwidely-used explanation methods. A single fine-tuned model is able to manipulateexplanation methods such as Gradient, Gradient times input, Integrated gradi-ents, Layer-wise Relevance Propagation (LRP) and Occlusion across almost anyinput. I show how detecting manipulations is a challenging task and why furtherdevelopment of robust explanation methods is critical.

La spiegabilita del Machine Learning (ML) sta diventando un argomento di ricercasempre pi ́uimportante. Tuttavia, i popolari approcci di spiegabilit ́aML non sonorobusti. In questa tesi, addestro avversariamente le reti neurali per manipolareuna serie di metodi di spiegazione ampiamente utilizzati. Un singolo modello per-fezionato ́e in grado di manipolare metodi di spiegazione come il Gradient, Gradient times input, Integrated gradients, Layer-wise Relevance Propagation (LRP) and Occlusion attraverso quasi tutti gli input. Mostro come il rilevamento dellemanipolazioni sia un compito impegnativo e perche l'ulteriore sviluppo di metodidi spiegazione robusti sia fondamentale.