axom: combination of weak learners' explanations to improve robustness of ensemble's explanations

Machine learning is a field of artificial intelligence that, day by day, is becoming part of every aspect of human life. This is due to its excellent characteristics, including flexibility and relative ease of deployment, all accompanied by an extraordinary capacity for prediction. However, the underlying algorithms construct complex models, often incomprehensible for humans, causing a difficulty to provide an interpretation of the reasons that contributed to a given output. This becomes a problem of critical importance when the decisions derived from such systems strongly affect humans’ lives and that is the main reason why, in many applications, machine learning techniques still struggle to find a place in use. The development of XAI (eXplainable Artificial Intelligence) techniques have in recent years greatly improved the interpretability of models, which have thus progressed from acting as black-box models to ensuring a behaviour that is comprehensible to humans. However, the novelty of such approaches is reflected in the presence of several issues related to notions such as fairness, confidence, accessibility and many others. Among these, by placing a particular focus on the emph{trustworthiness} of an XAI algorithm, recent studies have shown that under this aspect, even the most widely adopted algorithms present various problematics since, for some complex models, the explanations lack emph{robustness}, which is tightly related to concept just mentioned. In this work, research and analysis is conducted on the application of these techniques to emph{ensemble models}, i.e. models derived from the combination of many individual ones. The promise is to use aggregation to make explanations more robust and consequently more reliable, alongside the predictive abilities of the model. In particular, we argue that a combination through discriminative averaging of ensembles weak learners explanations can improve the robustness of explanations in ensemble models. This approach has been implemented and tested with post-hoc SHAP method and Random Forest ensemble with successful results. The improvements obtained have been measured quantitatively and some insights about explicability robustness on ensemble methods are presented.

L'apprendimento automatico è un campo dell'intelligenza artificiale che, giorno dopo giorno, sta entrando a far parte di ogni aspetto della vita umana. Ciò è dovuto alle sue eccellenti caratteristiche, tra cui la flessibilità e la relativa facilità di implementazione, il tutto accompagnato da una straordinaria capacità di previsione. Tuttavia, gli algoritmi sottostanti costruiscono modelli complessi, spesso incomprensibili per gli esseri umani, causando la difficoltà di fornire un'interpretazione delle ragioni che hanno contribuito a un determinato risultato. Questo diventa un problema di importanza critica quando le decisioni derivate da tali sistemi influenzano fortemente la vita degli esseri umani e questo è il motivo principale per cui, in molte applicazioni, le tecniche di apprendimento automatico faticano ancora a trovare impiego. Negli ultimi anni, lo sviluppo di tecniche XAI (eXplainable Artificial Intelligence) ha migliorato notevolmente l'interpretabilità dei modelli, che sono così passati dall'agire come modelli black-box a garantire un comportamento comprensibile all'uomo. Tuttavia, la modernità di questi approcci si riflette nella presenza di diverse problematiche legate a nozioni come equità, fiducia, accessibilità e molte altre. Tra questi, ponendo attenzione sulla emph{affidabilità}, studi recenti hanno dimostrato che anche gli algoritmi più adottati presentano diverse problematiche poiché, per alcuni modelli complessi, le spiegazioni mancano di emph{robustezza}, che è strettamente legata al concetto appena citato. In questo lavoro, vengono condotte ricerche e analisi sull'applicazione di queste tecniche ai "modelli ensemble", cioè ai modelli derivati dalla combinazione di molti predittori individuali. La promessa è quella di utilizzare l'aggregazione per rendere le spiegazioni più robuste e di conseguenza più affidabili, insieme alle capacità predittive del modello. In particolare, sosteniamo che una combinazione attraverso una media discriminativa di insiemi di spiegazioni di weak learners può migliorare la robustezza delle spiegazioni negli ensemble. Questo approccio è stato implementato e testato con il metodo post-hoc SHAP e l'ensemble Random Forest con risultati positivi. I miglioramenti ottenuti sono stati misurati quantitativamente e sono state presentate alcune intuizioni sulla robustezza delle spiegazioni nei metodi ensemble.