A survey on fairness: the influence of Protected Attributes on Machine Learning Algorithms

Machine Learning (ML) algorithms have become ubiquitous in decision-making processes across various domains in our daily lives and the possibility of biased algorithms raised concerns. A notorious case is the one of the COMPAS algorithm, which showcased biases against African-American individuals in criminal sentencing. For these reasons, guaranteeing fairness, that is the lack of bias, in ML algorithms is a primary research topic. This thesis delves into the critical issue of algorithmic fairness, focusing specifically on the treatment of protected attributes—attributes within datasets that must not influence algorithmic decisions due to their sensitive nature. Our goal is a systematic search and analysis of papers tackling the problem of fairness in ML, methodically organizing them from our perspective. We pose to ourselves the following research questions: (i) How many fairness-improving algorithms consider only binary protected attributes and how many consider other types of protected attributes? (ii) How many algorithms consider intersectionality? (iii) What are the common datasets used for experiments by these algorithms? (iv) How many algorithms use pre-/in-/post-processing techniques? Our research contributes a novel perspective on fairness in ML, emphasizing the importance of understanding and addressing biases related to protected attributes. We outline our research methodology, and present insights garnered from our analysis, including an overview of existing solutions and pertinent data within our research scope. The obtained results answer our research questions and suggest directions for potential future research.

Gli algoritmi di Machine Learning (ML) sono diventati onnipresenti nei processi decisionali in vari ambiti della nostra vita quotidiana e la possibilità di algoritmi con pregiudizi (bias) ha destato preoccupazione. Un caso famoso è quello dell’algoritmo COMPAS, che ha mostrato pregiudizi nei confronti degli individui afroamericani nelle sentenze penali. Per questi motivi, garantire l’equità (fairness), cioè l’assenza di pregiudizi, negli algoritmi di ML è un tema di ricerca primario. Questa tesi approfondisce il tema critico dell’equità algoritmica, concentrandosi in particolare sul trattamento dei Protected Attributes, ovvero gli attributi all’interno dei dataset che non devono influenzare le decisioni algoritmiche a causa della loro natura sensibile. Il nostro obiettivo è una ricerca e un’analisi sistematica degli articoli che affrontano il problema dell’equità nel ML, organizzandoli metodicamente dal nostro punto di vista. Ci poniamo le seguenti domande di ricerca: (i) Quanti algoritmi che migliorano l’equità considerano solo protected attributes binari e quanti considerano altri tipi di protected attributes? (ii) Quanti algoritmi considerano l’intersezionalità? (iii) Quali sono i dataset comuni utilizzati per gli esperimenti da questi algoritmi? Quanti algoritmi utilizzano tecniche di pre-/in-/post-processing? La nostra ricerca contribuisce a una prospettiva nuova sull’equità in ML, sottolineando l’importanza di comprendere e affrontare i pregiudizi legati ai protected attributes. Descriviamo la nostra metodologia di ricerca e presentiamo le intuizioni ottenute dalla nostra analisi, compresa una panoramica delle soluzioni esistenti e dei dati pertinenti al nostro ambito di ricerca. I risultati ottenuti rispondono alle nostre domande di ricerca e suggeriscono direzioni per potenziali ricerche future.