Textual eXplanations for intuitive machine learning

In the last decade machine and deep learning have gained enormous popularity and are now used in many software applications. Users need to trust these systems to use them, especially in certain domains such as medicine, and since most of them are black boxes there is a growing demand for explanations regarding the reasons behind their outputs. Research in eXplainable AI (xAI) is trying to meet this demand by developing techniques that can bring some light inside these black boxes. Despite this, the currently most used xAI methods are usually more helpful for model developers and experts than for end users. The main contribution of this work is the development of a system which can produce textual explanations for a machine learning classifier. We automatically generate a dataset of textual explanations for a classification problem and we use it to train the well-known GPT-2 model to produce text to explain a classification model's predictions. Considering the large demand for interactive explanations, we introduce also a question answering system (Q&A), able to answer questions about (the reasons for) the model's predictions. We build an interface, which can be easily used for many classification tasks, where we present the textual explanations and the Q&A system, together with other elements that can help the users to understand and trust a classifier. We finally use his interface to collect evaluations of our system through a user study. The results highlight the effectiveness of our explanations on the dataset we have used for the development of the system and the limitations of a direct porting on a different dataset, which can be largely overcome with a fine-tuning process.

Nell'ultimo decennio machine e deep learning hanno guadagnato un'enorme popolarità e sono oggi usati in molti software. Gli utenti hanno bisogno di fidarsi di questi sistemi per usarli, specialmente in settori come quello medico, ed essendo principalmente "scatole nere" vi è una crescente domanda di spiegazione delle ragioni dietro i loro output. Le ricerche sull'explainable AI (xAI) stanno provando a rispondere a questa domanda sviluppando tecniche che possono portare luce dentro queste "scatole nere". Ciò nonostante, i metodi xAI attualmente più usati sono spesso più utili per gli sviluppatori di modelli che per gli utenti finali. Il contributo principale di questa tesi è lo sviluppo di un sistema in grado di produrre spiegazioni testuali per un classificatore machine learning. Generiamo automaticamente un dataset di spiegazioni testuali per un problema di classificazione e lo usiamo per il training del noto modello GPT-2, rendendolo in grado di produrre spiegazioni testuali relative all'output di un classificatore. Considerando la grande richiesta di spiegazioni interattive, introduciamo anche un sistema di question answering (Q&A), in grado di rispondere a domande sugli output di un classificatore. Costruiamo un'interfaccia, che può essere facilmente utilizzata per vari problemi di classificazione, dove presentiamo le spiegazioni testuali e il sistema di Q&A, insieme ad altri elementi che possono aiutare gli utenti a comprendere l'output di un classificatore. Infine utilizziamo questa interfaccia per raccogliere valutazioni sul nostro sistema. I risultati evidenziano l'efficacia delle nostre spiegazioni sul dataset che abbiamo utilizzato per lo sviluppo del sistema e le limitazioni di un porting diretto su un dataset diverso, che possono essere in buona parte superate con un processo di fine-tuning.