Balancing fairness and data quality: post-processing strategies for bias mitigation

As machine learning is increasingly used in decision-making processes, ensuring fairness in algorithmic outcomes has become fundamental. Bias present in datasets can lead to discrimination due to sensitive attributes such as race, gender, or socioeconomic status. Various bias mitigation techniques have been developed to address these concerns, but their impact on data quality, encompassing aspects such as accuracy, reliability, and con- sistency, remains an open challenge. While extensive research has explored how improving data quality affects fairness, fewer studies have systematically examined how increasing fairness influences data quality. This thesis investigates the trade-offs introduced by post-processing bias mitigation tech- niques, which adjust model predictions without modifying the dataset or the learning process. Predictions are made on well-known datasets affected by bias and subsequently adjusted using different post-processing methods aimed at improving fairness. The impact of these techniques is assessed by measuring relevant fairness, prediction performance, and data quality metrics before and after mitigation, with results analyzed to quantify both improvements in fairness and potential losses in data quality. The findings confirm that post-processing techniques can successfully enhance fairness, but often at the cost of reduced data quality and predictive performance. The results show that the effectiveness of a given approach depends on the specific dataset, the cho- sen metrics, and the acceptable level of data quality reduction. These insights contribute to a deeper understanding of post-processing strategies and their role in balancing fairness and data quality in machine learning applications.

Con l’uso sempre più diffuso dell’apprendimento automatico nei processi decisionali, garan- tire l’equità nei risultati degli algoritmi è diventato un obiettivo fondamentale. I bias presenti nei dataset possono introdurre discriminazioni basate su attributi sensibili come razza, genere o status socioeconomico. Per affrontare questi problemi sono state svilup- pate diverse tecniche di mitigazione dei bias, ma il loro impatto sulla qualità dei dati, che comprende aspetti come accuratezza, affidabilità e coerenza, rimane una questione aperta. Sebbene numerose ricerche abbiano analizzato come il miglioramento della qualità dei dati influenzi l’equità, sono stati condotti meno studi per analizzare sistematicamente come un aumento dell’equità possa incidere sulla qualità dei dati. Questa tesi analizza i compromessi introdotti dalle tecniche di mitigazione dei bias di post- processing, che modificano le predizioni del modello senza alterare il dataset o il processo di apprendimento. Le predizioni vengono effettuate su dataset noti per essere affetti da bias e successivamente modificate utilizzando diversi metodi di post-processing volti a migliorare l’equità. L’impatto di queste tecniche viene valutato misurando le metriche di equità, bontà delle predizioni e qualità dei dati prima e dopo la mitigazione, con un’analisi dei risultati per quantificare sia i miglioramenti nell’equità sia le potenziali perdite nella qualità dei dati. I risultati confermano che le tecniche di post-processing possono migliorare l’equità, ma spesso a costo di una riduzione della qualità dei dati e bontà delle predizioni. I risultati mostrano che l’efficacia di un determinato approccio dipende dallo specifico dataset, dalle metriche scelte e dal livello accettabile di riduzione della qualità dei dati. Queste analisi contribuiscono a una comprensione più approfondita delle strategie di post-processing e del loro ruolo nel bilanciare equità e qualità dei dati nelle applicazioni di apprendimento automatico.