Explaining machine learning model predictions : theory and empirical analysis

Explaining complex machine learning models is a practical and ethical question, as well as a legal issue. Can I trust the model? Can I explain it to others? One may want to explain individual predictions from a complex machine learning model by learning simple, interpretable explanations. These are usually obtained with feature attribution methods, that is, methods assigning to each feature an importance score reflecting its contribution to the model output. The thesis aims to present the theory of the explanation methods, with particular attention to the Shapley value, which is regarded to be the only model-agnostic explanation method with a solid theoretical foundation. We contribute to the theory studying the behaviour of the Shapley values in presence of perfectly correlated features and multicollinearity. We also propose a formal two steps methodology to be applied in practice to reach a final interpretation. This includes first the evaluation of the actual reliability of the model, to understand if and how much it learnt the actual importance of each feature. The second phase consists in the local analysis around a given input to identify those variables that really matters for the explanation. The methodology holds for any feature attribution method and has been tested both on artificial and real data. Applications concern the explanation of the predictions in a credit risk problem and the analysis of Dilated Convolutional Neural Networks for financial time series forecasting.

Spiegare modelli complessi di Machine Learning è una domanda pratica ed etica, oltre che una questione legale. Posso fidarmi del modello? Posso spiegarlo ad altri? L'ideale sarebbe interpretare le singole predizioni di un modello di Machine Learning tramite spiegazioni semplici e comprensibili. Queste sono generalmente ottenute con metodi di attribuzione, ovvero metodi che assegnano a ciascuna variabile uno score di importanza che riflette il suo contributo all'output del modello. La tesi mira a presentare la teoria dei metodi di spiegazione, con particolare attenzione allo Shapley Value, considerato l'unico metodo di spiegazione agnostico con solide basi teoriche. Si contribuisce alla teoria studiando il comportamento dello Shapley Value in presenza di multicollinearità e variabili perfettamente correlate. Proponiamo anche una metodologia formale in due fasi da applicare nella pratica per raggiungere un'interpretazione finale. Questa include innanzitutto la valutazione dell'affidabilità effettiva del modello, per capire se e quanto abbia appreso l'effettiva importanza di ciascuna variabile. La seconda fase consiste nell'analisi locale attorno a un determinato input per identificare quelle variabili che contano davvero per la spiegazione. La metodologia vale per qualsiasi metodo di attribuzione ed è stata testata sia su dati artificiali che reali. Le applicazioni riguardano la spiegazione delle predizioni in un problema di rischio di credito e l'analisi delle reti neurali convoluzionali dilatate per la previsione di serie temporali finanziarie.