Fairbor: a framework for detecting unfairness through neighborhood dependencies

Nowadays it is essential to analyze datasets from the point of view of fairness, both for studying a situation and to prevent the propagation of ethical bias in programs and user interactions. Along the line of the FAIR-DB, a framework for detecting unfairness in datasets, we developed the Fairbor framework (union of the keywords “fairness” and “neighbor”), which allows, like the former, to extract some kinds of Functional Dependencies (here derived from Neighborhood Dependencies) from a dataset in order to examine the relations between its attributes, in particular, what combinations containing protected attributes (sensitive from an ethical point of view) determine the classification or in general a more or less favorable outcome for a group of individuals. However, differently from the former, our framework introduces similarity relations that are applicable for every attribute with values that can be sorted, or among which are assigned distances. In particular, this proves indispensable to work with numerical attributes with many values and to indicate, in the dependencies, the intervals around such values within which such dependencies hold. The framework is thus capable of establishing how much the difference between the groups’ outcomes is. The framework is composed mainly of the algorithms that we developed to extract Approximate Neighborhood Dependencies, both Conditional and not, for which the user can set the target and the metrics of support and confidence, which allows adapting the dependencies to the needs of real datasets, while still remaining significant. Lastly, we evaluated our framework comparing its results with those of FAIR-DB and of two statistical tests, highlighting their strong points and weaknesses.

Al giorno d’oggi è fondamentale poter analizzare i dataset dal punto di vista dell’equità (fairness), sia per studiare una situazione che per evitare la propagazione di bias di tipo etico in programmi e interazioni con lo user. Sulla linea di FAIR-DB, un framework per la scoperta di inequità in dataset, abbiamo sviluppato il framework Fairbor (unione delle parole chiave “fairness” e “neighbor”), che permette, come il primo, di estrarre dei tipi di Dipendenze Funzionali (che in questo caso derivano dalle Neighborhood Dependencies o, in italiano, Dipendenze di Vicinanza) da un dataset per indagare le relazioni tra i suoi attributi, in particolare quali combinazioni contenenti attributi protetti (sensibili da un punto di vista etico) determinano la classificazione o in generale un risultato più o meno favorevole per un gruppo di individui. A differenza del primo, però, il nostro framework introduce rapporti di similarità utilizzabili per ogni attributo con valori ordinati o tra i quali si vogliano assegnare delle distanze. In particolare ciò si rivela indispensabile per lavorare con attributi numerici con molti valori e poter indicare nelle dipendenze degli intervalli attorno a tali valori entro cui tali dipendenze valgono. Il framework è quindi capace di stabilire a quanto ammonti la differenza di risultati tra gruppi. Il framework si compone principalmente degli algoritmi che abbiamo sviluppato per estrarre Dipendenze Approssimate di Vicinanza, sia condizionali che non, per cui l’utente può stabilire il target e le metriche di supporto e confidenza, che permettono di adattare le dipendenze alle esigenze di dataset reali, pur rimanendo significative. Infine, abbiamo valutato il nostro framework confrontando i suoi risultati con quelli di FAIR-DB e di due test statistici, evidenziandone punti di forza e punti deboli.