Bayesian regularised artificial neural networks : an empirical study for default estimation

A credit provider receiving a financing request from a single person or another corporate has to assess the profile of the applicant before conceding its approval, because in case of insolvency or delays in making repayments by the customers the financial position of the intermediary could incur in losses threatening the whole organisation stability and influencing its way of doing business. The whole assessment can be brought back to the assignment of the clients to two distinct categories: good and bad, with good designating the candidates with a high probability to repay their exposures in the pre-agreed time frame and bad indicating those who are unlikely-to-pay or that will observe their obligation but with (significant) delays. In mathematical terms: a binary classification problem. In literature various studies exist on the subject and many algorithms have been applied for its resolution, but, with the predominant adventure of Machine Learning techniques in last years, Neural Networks have gained ground given the capability to learn arbitrarily complex models, based on their articulated "human brain-like" structure. This thesis focuses on one of the main drawbacks of classical Neural Networks, the tendency of the model to overfit the data. To prevent this unwanted behaviour a Bayesian regularisation (BRANN) technique is applied. After giving a mathematical formulation of the method, an empirical study is conducted and six different Neural Network architectures are compared, with BRANN outperforming, both in terms of accuracy and processing time, the back-propagation algorithm and the classical regularisation of the cost function based on weight decay. The results look also consistent across three different source datasets: two coming from the corporate sector of developing markets (East-European and Polish) and the third concerning retail clients from a developed market (German). Subsequently, a comparison with other classical Binary Classification algorithms adopted in practical applications is performed, resulting in BRANN outperforming Logistic Regression and Naive Bayes Classifier, underperforming Tree-based methods (Decision Tree, Bagging, Boosting and Random Forest), while having a dataset-dependent behaviour in case of Support Vector Machine and k-Nearest Neighbours. Finally, an in-depth look at the indicators leading the model implementation underlines that Profitability, Leverage and Liquidity can be considered the three main dimensions driving the default risk of the counterparties.

Un istituto di credito che riceve una richiesta di finanziamento da parte di una singola persona o da un’altra azienda deve valutare il profilo del richiedente prima di concedere la propria approvazione, perché, in caso di insolvenza o ritardi nei rimborsi, la posizione finanziaria dell’intermediario potrebbe incorrere in perdite minaccianti la stabilità economica dell’intera organizzazione, influenzandone così il suo modo di fare impresa. L’intera valutazione può essere ricondotta all’assegnazione dei clienti a due diverse categorie: buoni e cattivi, con il termine buoni indicante i clienti con alta probabilità di rimborsare le proprie esposizioni nei tempi prestabiliti e cattivi riferendosi a coloro che saranno probabilmente inadempienti o che osserveranno i propri obblighi ma con ritardi, possibilmente significativi. In termini matematici: un problema di classificazione binaria. In letteratura esistono vari studi sull’argomento e molti algoritmi sono stati applicati per la sua risoluzione, ma, con l’avvento predominante delle tecniche di Machine Learning negli ultimi anni, le reti neurali hanno guadagnato terreno, data la loro capacità di apprendere modelli arbitrariamente complessi attraverso la loro struttura "imitante" quella di un cervello umano. Questa tesi si concentra su uno dei principali inconvenienti delle classiche reti neurali, la tendenza del modello ad adattarsi eccessivamente ai dati. Per prevenire questo comportamento indesiderato una tecnica di regolarizzazione Bayesiana (BRANN) viene applicata. Dopo aver fornito una formulazione matematica del metodo, uno studio empirico viene condotto e sei differenti architetture di reti neurali sono comparate, con BRANN che sovraperforma, sia in termini di accuratezza che di tempo computazionale, l’algoritmo di backpropagation e la classica regolarizzazione della funzione di costo basata sul decadimento del peso. I risultati sono coerenti anche al variare dell’input. Tre datasets sono utilizzati, due derivanti da mercati in via di sviluppo (Europa dell’Est e Polonia), mentre il terzo proveniente da un mercato sviluppato (Germania). Successivamente, una comparazione con alcuni dei più utilizzati algoritmi di classificazione binaria mostra che BRANN performa meglio della Regressione Logistica e del Classificatore Naive Bayes, mentre ha prestazioni inferiori rispetto ad algoritmi basati su tecniche ad albero, come Albero Decisionale, Bagging, Boosting e Random Forest. Inoltre, non è possibile stabilire un ranking assoluto comparando con Support Vector Machine e k-Nearest Neighbours, poichè le prestazioni variano da dataset a dataset. Infine, uno sguardo approfondito agli indicatori che guidano l’implementazione del modello sottolineano che la redditività, la leva finanziaria e la liquidità possono essere considerati le tre dimensioni principali al fine di determinare il rischio di default delle controparti.