Penalty-based reweighting: measuring and mitigating intersectional unfairness in machine learning

Unfairnesss in Machine Learning (ML) algorithms has become a major concern in recent years, as these algorithms are increasingly being used to make important decisions that affect people’s lives. Such algorithms present biases that introduce unfairness towards certain individuals that belong to protected attributes such as gender or race. While many unfairness mitigation approaches exist, most of them focus on targeting protected attributes individually, without taking into account the discrimination faced by individ- uals at the intersection of these attributes. This thesis introduces a novel framework for measuring and mitigating intersectional unfairness in binary classification tasks. We introduce penalties as a way to quantify the level of intersectional unfairness faced by an individual, by comparing the statistical fairness metrics of their protected attributes individually and intersectionally. We also implement a reweighting approach to mitigate intersectional unfairness, calculating a weight for each subgroup based on the penalty as- sociated to it. We evaluate our framework by testing on different models, weight strengths and statistical fairness metrics, in order to find a configuration that effectively mitigates intersectional unfairness while maintaining a good level of performance.

Negli ultimi anni, l’ingiustizia negli algoritmi di apprendimento automatico (ML) è di- ventata una delle principali preoccupazioni, poiché questi algoritmi vengono sempre più utilizzati per prendere decisioni importanti che influenzano la vita delle persone. Tali algoritmi presentano pregiudizi che introducono ingiustizie nei confronti di determinati individui che appartengono a categorie protette come il genere o la razza. Sebbene es- istano molti approcci per mitigare l’ingiustizia, la maggior parte di essi si concentra sui singoli attributi protetti, senza tenere conto della discriminazione subita dagli individui all’intersezione di tali attributi. Questa tesi introduce un nuovo quadro di riferimento per misurare e mitigare l’ingiustizia intersezionale nei compiti di classificazione binaria. Intro- duciamo delle penalità come modo per quantificare il livello di ingiustizia intersezionale subito da un individuo, confrontando le metriche di equità statistica dei suoi attributi protetti sia individualmente che intersezionalmente. Implementiamo anche un approccio di riponderazione per mitigare l’ingiustizia intersezionale, calcolando un peso per ogni sottogruppo in base alla penalità ad esso associata. Valutiamo il nostro quadro testando diversi modelli, intensità di peso e metriche di equità statistica, al fine di trovare una configurazione che mitighi efficacemente l’ingiustizia intersezionale mantenendo un buon livello di prestazioni.