Advancing loan default prediction with interpretable Tabnet models

This thesis provides an extensive analysis of the TabNet model, a deep learning architecture for tabular data, focusing on its application in loan default prediction. Building on the evolving landscape of machine learning models in credit risk assessment, we compare TabNet's performance and interpretability against prominent models such as LightGBM, XGBoost, Logit, and Random Forest. In our investigation, TabNet stands out as a powerful tool, offering a strong compromise between predictive performance and model interpretability, outpacing other models in key metrics such as Validation Accuracy, Test Accuracy, and Test Precision. One of the core contributions of this work lies in our detailed exploration of TabNet masks, a distinctive feature of the TabNet model that assigns importance to features at each decision step. This novel technique unravels the complex decision-making process in loan default prediction, providing granular insights into the interplay and influence of features at various stages. We also critique the traditional black-box interpretability techniques, such as SHAP values, in providing comprehensive insights, highlighting their shortcomings in capturing complex feature interactions, their assumption of feature independence, and their computational intensity. Our results underscore the potential of more transparent, interpretable models like TabNet in high-stress financial applications, emphasizing the importance of understanding the rationale behind predictions. In conclusion, we propose future research directions, including expanding the scope of TabNet to various financial tasks and geographical contexts, and enhancing computational efficiency in interpretability-focused models. This thesis seeks to drive advancements in the domain of interpretable machine learning for financial applications, reinforcing the balance between model performance and interpretability as a cornerstone of future research.

Questa tesi propone un'analisi accurata del modello Tabnet, un'architettura di deep learning per i dati tabulari, concentrandosi sul problema della predizione dei default sui prestiti. Utilizzando come punto di partenza il variegato assortimento di modelli per la valutazione del rischio di credito, mettiamo a paragone la prestazione e l'interpretabilità di Tabnet con modelli di spicco come LightGBM, XGBoost, Logit e Random Forest. Nella nostra indagine Tabnet emerge come strumento potente, offrendo un compromesso tra capacità predittiva e interpretabilità modellistica, superando gli altri modelli in metriche chiave come Validation Accuracy, Test Accuracy e Test Precision. Uno dei contributi centrali di questo lavoro consiste nella nostra dettagliata indagine delle maschere di Tabnet, una caratteristica distintiva del modello, che seleziona le caratteristiche più importanti ad ogni step decisionale. Questa metodologia rivela il complesso processo decisionale legato alla predizione dei default sui prestiti, fornendo una visione granulare sull'interazione e sull'influenza delle varie caratteristiche in differenti fasi. Oltretutto critichiamo le tecniche tradizionali black-box di interpretabilità, come gli SHAP values, mettendo in evidenza le loro limitazioni nel catturare interazioni complesse tra le caratteristiche, le loro assunzioni di indipendenza tra caratteristiche, e il loro carico computazionale. I nostri risultati esaltano la potenzialità di modelli più trasparenti e interpretabili, come Tabnet, in applicazioni finanziarie delicate, ponendo in rilievo l'importanza della comprensione del razionale dietro le decisioni. In conclusione, proponiamo future direzioni di ricerca, tra le quali: ampliare l'applicazione di tabnet a diversi task finanziari e contesti geografici e migliorare l'efficienza computazionale. Questa tesi si propone di guidare progressi nel dominio del machine learning interpretabile per applicazioni finanziarie, ponendo il bilanciamento tra prestazioni e interpretabilità come pietra miliare della futura ricerca.