Ethics in Data Science: exploration of fairness in data-driven decision systems

This thesis examines fairness in data-driven decision-making systems, providing both theoretical foundations and practical tools for defining, measuring, mitigating, and communicating it. Unfairness in these systems can have significant societal consequences. For example, AI chatbots used in mortgage applications have been found to recommend denials for Black applicants more frequently than for identical white applicants, illustrating racial bias in financial decision-making. Similarly, a UK government welfare fraud detection system exhibited biases related to age, disability, marital status, and nationality, raising concerns about inequitable treatment in social services. These cases highlight the urgent need for fairness-aware approaches in data-driven systems to prevent discrimination and ensure equitable outcomes. Fairness is particularly challenging because it is not a universally measurable concept, but a complex, context-dependent requirement that interacts with multiple dimensions of system design and evaluation. Starting from three main research questions, the work develops a comprehensive framework that spans the entire lifecycle of machine learning systems. First, it introduces a unified taxonomy of fairness metrics, composed of statistical and causal ones, and proposes a Fairness Decision Tree to guide the contextual selection of appropriate metrics for the specific context of use. To support interpretability and accessibility of fairness metrics, the thesis also presents FairnessFriend, a chatbot designed to help non-expert users understand the fairness measurement process. Second, the thesis focuses on unfairness mitigation. It offers a structured catalog of mitigation techniques (for pre-, in-, and post-processing approaches), and introduces FAIR-CARE, a scalable framework for the comparative evaluation of these techniques across multiple datasets, models, and metrics. This framework is applied to real-world healthcare datasets, demonstrating how fairness can be systematically assessed and improved. The work also presents LLM4Fairness, a conversational agent based on large language models, which enables interactive exploration and explanation of fairness results to non-expert users. Third, the thesis explores fairness in relation to other non-functional requirements and application contexts. It investigates the trade-off between fairness and data quality, analyzes intersectional fairness in ranking systems, and proposes SoCRATe, a novel framework for fairness in recommender systems with limited item availability, where users who are interested in the same things but have limited availability actually can receive equal treatment. Overall, the thesis contributes to the design of ethical and trustworthy artificial intelligence and machine learning systems, supports regulatory compliance (e.g., AI Act), and promotes user trust, offering actionable perspectives and tools for embedding fairness into the design, evaluation, and communication of data-driven decision systems.

Questa tesi affronta il tema della fairness (equità) nei sistemi decisionali basati sui dati, con l'obiettivo di fornire sia le basi teoriche che gli strumenti pratici per la sua definizione, misurazione, mitigazione e comunicazione. Ad esempio, è stato riscontrato che i chatbot basati sull'intelligenza artificiale utilizzati nelle richieste di mutuo ipotecario raccomandano più spesso il rifiuto delle richieste presentate da candidati di colore rispetto a quelle presentate da candidati bianchi con caratteristiche identiche, dimostrando l'esistenza di pregiudizi razziali nel processo decisionale finanziario. Analogamente, un sistema di rilevamento delle frodi assistenziali del governo britannico ha mostrato pregiudizi legati all'età, alla disabilità, allo stato civile e alla nazionalità, sollevando preoccupazioni circa il trattamento iniquo nei servizi sociali. Questi casi evidenziano l'urgente necessità di approcci attenti all'equità nei sistemi basati sui dati per prevenire la discriminazione e garantire risultati equi. Questa è particolarmente difficile da raggiungere perché non è un concetto universalmente misurabile, ma un requisito complesso e dipendente dal contesto che interagisce con molteplici dimensioni della progettazione e della valutazione dei sistemi. Partendo da tre domande di ricerca principali, il lavoro sviluppa una soluzione completa che abbraccia l'intero ciclo di vita dei sistemi di apprendimento automatico (machine learning). In primo luogo, introduce una tassonomia unificata delle metriche di fairness, statistiche e causali, e propone un albero decisionale per guidare la selezione contestuale delle metriche appropriate per il contesto di utilizzo. Per supportare l'interpretabilità e l'accessibilità di tali metriche, la tesi presenta anche FairnessFriend, un chatbot progettato per aiutare gli utenti non esperti a comprendere il processo di misurazione della fairness. In secondo luogo, la tesi si concentra sulla mitigazione dell'ingiustizia (unfairness). Offre un catalogo strutturato di tecniche di mitigazione (per gli approcci di pre-, in- e post-elaborazione) e introduce FAIR-CARE, una soluzione per la valutazione comparativa di queste tecniche di mitigazione su più dati, modelli e metriche. Questo processo è stato applicato a dati medici reali, dimostrando come la fairness possa essere valutata e migliorata in modo sistematico. Il lavoro presenta anche LLM4Fairness, un agente conversazionale basato su modelli linguistici di grandi dimensioni, che consente l'esplorazione interattiva e la spiegazione dei risultati di fairness anche agli utenti non esperti. In terzo luogo, la tesi esplora la fairness in relazione ad altri requisiti non funzionali e contesti applicativi. Indaga il trade-off tra fairness e qualità dei dati, analizza la fairness intersezionale nei sistemi di classificazione e propone SOCRATE, un nuovo framework di riferimento per la fairness nei sistemi di raccomandazione con disponibilità limitata di articoli, dove gli utenti che sono interessati agli stessi articoli a disponibilità limitata possono effettivamente ricevere un trattamento equo. Nel complesso, la tesi contribuisce alla progettazione di sistemi di intelligenza artificiale e apprendimento automatico etici e affidabili, supporta la conformità normativa (ad esempio, l'AI Act) e promuove la fiducia degli utenti, offrendo prospettive e strumenti attuabili per integrare la fairness nella progettazione, valutazione e comunicazione dei sistemi decisionali basati sui dati.