Model explainability through human knowledge and crowdsourcing

The ongoing development of incrementally complex and high-performing ML and AI models has made them more opaque than ever, making it hard to understand their behaviour and decision-making process. Such complexity calls for a fundamental property that models must have, i.e., they must be explainable, allowing human interpreters to understand their decision-making process. Consequently, the research community has focused on developing approaches to provide explanations for such black-box models faithfully. While several efficient methods have been developed, human interpretability still represents the most critical aspect. Humans might play various roles in this context, and their knowledge is fundamental to achieving such an objective. This PhD dissertation focuses on human-centred approaches in the context of Explainable AI, analyzing and developing techniques to involve humans, collect and structure their knowledge, and employ it towards explaining model behaviour. Besides XAI, crowdsourcing and gamification are essential to driving human involvement and behaviour. In this dissertation, fundamental literature on such topics of interest is provided. Then, the role of humans in XAI and their contribution towards model robustness are described. Explainability approaches are then developed in the context of Natural Language Processing (NLP) and Computer Vision (CV). In NLP, a formalization to organize human knowledge in various tasks is defined, and data is collected through crowdsourcing. In CV, an approach to describe the decision-making process of black-box models using human knowledge was developed and tested against state-of-the-art methods, reporting on its effectiveness. This dissemination focuses on humans as the core element to achieve high interpretability, driving model trustworthiness. Several perspectives and human-driven approaches demonstrate the fundamental need to engage humans in XAI, highlighting the relevance of such a research topic.

Lo sviluppo di modelli di Machine Learning (ML) e Intelligenza Artificiale (AI) sempre più complessi e performanti ha reso difficile la comprensione del loro comportamento. Tale incremento di complessità evidenzia una proprietà fondamentale che i modelli di ML devono possedere, ovvero essere spiegabili, consentendo agli interpreti umani di capire come prendono le decisioni. Di conseguenza, la comunità scientifica si è concentrata sullo sviluppo di approcci per fornire spiegazioni accurate per tali modelli "black-box". Sebbene siano stati sviluppati numerosi metodi, l'interpretabilità umana rappresenta ancora l'aspetto più critico. In questo contesto, gli esseri umani possono ricoprire diversi ruoli oin tale contest, e la loro conoscenza è fondamentale per raggiungere questo obiettivo. Questa tesi di dottorato si concentra sugli approcci incentrati sull'uomo nel contesto dell'Intelligenza Artificiale Spiegabile (XAI), analizzando e sviluppando tecniche per coinvolgere gli esseri umani, raccogliere e strutturare la loro conoscenza e utilizzarla per spiegare il comportamento dei modelli. Oltre alla XAI, il crowdsourcing e la gamification sono stati utilizzati per incentivare il coinvolgimento umano e guidare il loro comportamento. Una panoramica degli argomenti di interesse menzionati nella letteratura è presentata. Successivamente, il ruolo degli esseri umani nella XAI e il loro contributo alla robustezza dei modelli è descritto. Gli approcci di spiegabilità proposti in questa tesi sono sviluppati nel contesto del Natural Language Processing (NLP) e della Computer Vision (CV). Nel NLP, si propone una formalizzazione per organizzare la conoscenza umana per svariate attività, raccogliendo i dati tramite crowdsourcing. Nella CV, è stato sviluppato e testato un approccio per descrivere il processo decisionale dei modelli "black-box" utilizzando la conoscenza umana, confrontandolo con i metodi più avanzati e riportandone efficacia. Questa ricerca pone gli esseri umani come elemento centrale per raggiungere un'elevata interpretabilità, aumentando così l'affidabilità dei modelli. Diverse prospettive e approcci guidati dall'uomo dimostrano la necessità fondamentale di coinvolgere gli esseri umani nella XAI, evidenziando l'importanza di tale argomento di ricerca.