Explainability in machine learning with cooperative game theory

Decision tree-based machine learning models are widely used due to their strong predictive performance. However, they are considered black-box methods since their decision-making process is not easily interpretable, and this lack of transparency is particularly problematic in domains where understanding and justifying model predictions is essential for making decisions based on reliable and transparent information. This thesis explores cooperative game theory as a framework for model explainability, with a focus on Shapley values and Banzhaf values as tools to interpret decision tree-based models. The goal is to show that these values not only offer interpretable explanations but also provide a rigorous theoretical foundation for understanding how such models make their predictions. By applying SHAP (SHapley Additive exPlanations) and computing the Banzhaf values, the thesis aims to gain a clearer understanding of the decision-making processes behind Random Forest and XGBoost models, enhancing model explainability by highlighting the contribution of individual features to each prediction.

I modelli di machine learning basati su alberi decisionali sono ampiamente utilizzati grazie alla loro elevata capacità predittiva. Tuttavia, sono considerati metodi black-box poiché il loro processo decisionale non è facilmente interpretabile, e questa mancanza di trasparenza risulta particolarmente problematica in ambiti in cui comprendere e giustificare le predizioni del modello è essenziale per prendere decisioni basate su informazioni affidabili e trasparenti. Questa tesi esplora la teoria dei giochi cooperativi come quadro teorico per l’interpretabilità dei modelli, con un focus sui valori di Shapley e sui valori di Banzhaf come strumenti per interpretare modelli basati su alberi decisionali. L’obiettivo è dimostrare che tali valori non solo forniscono spiegazioni interpretabili, ma offrono anche una solida base teorica per comprendere come questi modelli generano le loro predizioni. Attraverso l’applicazione di SHAP (SHapley Additive exPlanations) e il calcolo dei valori di Banzhaf, la tesi mira ad approfondire la comprensione dei processi decisionali alla base dei modelli Random Forest e XGBoost, migliorando così l’interpretabilità dei modelli attraverso l’individuazione del contributo di ciascuna variabile alle singole predizioni.