Operationalizing algorithmic fairness in organizations adopting a sociotechnical system perspective

Artificial intelligence (AI) is one of the most promising technologies of our era, with prominent scholars already highlighting its transformative use as a general purpose technology and drawing comparison with other technological advancements that have dramatically changed human history. However, with the surge in the development and use of Artificial Intelligence algorithms in organizations, especially in the last decade, spurred by the technological advancements in these applications, the question of how the more pervasive use of these tools will affect society has come to the forefront of the political agenda and the wider public debate. The objective of the present research is to investigate one particular aspect concerning the introduction of Artificial Intelligence algorithms in organizations, which will become increasingly important for practitioners and institutions to monitor: algorithmic fairness (AF). This umbrella term refers to the general idea that algorithms employed in decision-making run the risk of showing discriminatory outcomes towards certain groups of the population, specifically minority ones. To address such concerns, many EU and international agencies have begun to systematically study the possible risks linked to the use of AI, releasing proposals of regulations and guidelines. A prominent example of this approach is the European Union that has recently approved a Regulation - the AI Act - which prescribes that AI solution be evaluated according to their risk for the welfare of society before being green-lighted to enter the market and where fairness is one of the fundamental values to achieve and demonstrate. Therefore, algorithmic fairness is not only a concern for scholars in the field but it is now compulsory for organizations wishing to adopt AI. In the academic community, fairness is framed as one of the most pressing issues to address in Artificial Intelligence introduction in different decision-making contexts, particularly high-stakes ones. In the last decade, algorithmic fairness as a matter of investigation in the academic community and by different scientific communities has considerably grown, giving way to two main perspectives employed to tackle the issue: i) technical perspective entrenched in the computer science community; ii) social perspective propounded by philosophy, legal and social science scholars. Among these two perspectives, algorithmic fairness has predominantly been conceived and studied as a technical construct where most efforts have been aimed at finding a mathematical formulation of fairness to evaluate the outcome of an algorithmic decision. Several critiques have emerged to highlight the drawbacks of adopting a merely mathematical approach and as of today there is a growing number of authors calling for a more context-aware and interdisciplinary approach in treating the issue. This research positions itself in this landscape by investigating how algorithmic fairness can be analyzed and operationalized in organizations according to a sociotechnical system perspective. By adopting a sociotechnical system lens, this research frames the phenomenon of algorithmic fairness as one that emerges from the complex interplay of the technical and social subsystems that are situated within their social, cultural, and institutional environments. My investigation especially contributes in three ways to the extant literature on algorithmic fairness bridging the technical and social understanding of the concept: firstly through a narrative literature review I identify how social scientists can contribute to the investigation of algorithmic fairness through different research perspectives in a way that complements a technical approach to the issue; secondly, through a systematic literature review I provide a framework that describes algorithms as sociotechnical systems by accounting for the interaction between the social and technical elements throughout their lifecycle to highlight where fairness concerns might emerge; thirdly I provide empirical evidence on how organizations in the banking sector are dealing with algorithmic fairness in their decision-making processes for credit scoring, specifically analyzing barriers to operationalization and ways forward according to a sociotechnical approach. My findings suggest that the barriers in operationalizing algorithmic fairness in organizations often reflect tensions at the individual, departmental, and organizational levels, rooted in the fundamental differences between the institutional logics of profit maximization and social justice, where the latter is pushed by the demands of algorithmic fairness. To address this, my investigation encourages organizations to adopt a hybrid organizational logic that incorporates not only market imperatives but also fairness and normative concerns. By developing a sociotechnical perspective for operationalizing algorithmic fairness in organizations, the thesis offers implications for both scholars investigating AF and for practitioners pursuing operationalization of AF.

L’Artificial Intelligence (AI) è una delle tecnologie più promettenti della nostra epoca; importanti studiosi ne hanno già evidenziato il potenziale trasformativo come general purpose technology, paragonandola ad altri avanzamenti tecnologici che hanno cambiato radicalmente la storia dell’umanità. Tuttavia, con l’aumento dello sviluppo e dell’utilizzo di algoritmi di Artificial Intelligence all’interno delle organizzazioni - soprattutto nell’ultimo decennio, grazie ai progressi tecnologici di queste applicazioni - la questione di come un uso sempre più pervasivo di questi strumenti influenzerà la società è diventata centrale nell’agenda politica e nel dibattito pubblico. L’obiettivo della presente ricerca è indagare un aspetto specifico legato all’introduzione di algoritmi di Artificial Intelligence nelle organizzazioni, destinato a diventare sempre più rilevante per professionisti e istituzioni: l’algorithmic fairness (o equità algoritmica). Questo termine si riferisce all’idea generale secondo cui gli algoritmi impiegati nei processi decisionali rischiano di produrre esiti discriminatori nei confronti di determinati gruppi della popolazione, in particolare delle minoranze. Per affrontare tali problematiche, molte istituzioni internazionali hanno iniziato a studiare sistematicamente i possibili rischi connessi all’uso dell’AI, pubblicando proposte normative e linee guida. Un esempio emblematico è rappresentato dall’Unione Europea, che ha recentemente approvato il regolamento AI Act, secondo cui le soluzioni di AI vanno valutate in base al rischio che comportano per il benessere della società prima di poter essere introdotte sul mercato, e nel quale la fairness rappresenta uno dei valori fondamentali da garantire e dimostrare. Di conseguenza, l’algorithmic fairness non è più soltanto una preoccupazione per la comunità accademica, ma è diventata un requisito obbligatorio per le organizzazioni che intendono adottare sistemi di AI. Nella comunità scientifica, la fairness è considerata una delle questioni più urgenti da affrontare nell’introduzione dell’Artificial Intelligence in diversi contesti decisionali, soprattutto quelli ad alto impatto. Nell’ultimo decennio, l’algorithmic fairness è cresciuta considerevolmente come ambito di ricerca, dando origine a due principali prospettive: i) una prospettiva tecnica, radicata nella comunità dell’informatica; ii) una prospettiva sociale, promossa da studiosi di filosofia, diritto e scienze sociali. Tra queste due prospettive, l’algorithmic fairness è stata prevalentemente concepita e studiata come costrutto tecnico, con la maggior parte degli sforzi orientati a individuarne una formulazione matematica per valutare gli esiti delle decisioni algoritmiche. Diverse critiche hanno però evidenziato i limiti di un approccio puramente tecnico e oggi un numero crescente di studiosi evidenzia la necessità di un approccio più interdisciplinare. Questa ricerca si inserisce in questo dibattito investigando come l’algorithmic fairness possa essere analizzata e messa in pratica nelle organizzazioni secondo una prospettiva sociotecnica. Adottando questa lente teorica, la ricerca interpreta il fenomeno dell’algorithmic fairness come il risultato della complessa interazione tra sottosistemi tecnici e sociali, inseriti nei rispettivi contesti culturali e istituzionali. L’indagine contribuisce alla letteratura esistente sull’algorithmic fairness in tre modi principali, cercando di colmare il divario tra la comprensione tecnica e quella sociale: in primo luogo, attraverso un’analisi della letteratura identifica come gli studiosi delle scienze sociali possano contribuire all’analisi dell’algorithmic fairness mediante differenti prospettive di ricerca che completano l’approccio tecnico; in secondo luogo, attraverso un’analisi sistematica della letteratura, propone un framework che descrive gli algoritmi come sistemi sociotecnici, considerando l’interazione tra elementi sociali e tecnici lungo tutto il loro ciclo di vita, al fine di evidenziare i punti in cui possono emergere problematiche di equità; infine, fornisce evidenze empiriche su come le organizzazioni del settore bancario stiano affrontando l’algorithmic fairness nei processi decisionali di credit scoring, analizzando in particolare le barriere e le possibili strategie future secondo un approccio sociotecnico. I risultati suggeriscono che le difficoltà nell’implementare l’algorithmic fairness nelle organizzazioni riflettono spesso tensioni a livello individuale, dipartimentale e organizzativo, radicate nelle differenze fondamentali tra le logiche istituzionali della massimizzazione del profitto e quelle della giustizia sociale, dove quest’ultima è promossa proprio dalle istanze di algorithmic fairness. Per affrontare queste tensioni, la ricerca incoraggia le organizzazioni ad adottare una logica organizzativa ibrida, capace di integrare non solo imperativi di mercato, ma anche istanze normative e di fairness. Sviluppando una prospettiva sociotecnica per l’implementazione dell’algorithmic fairness nelle organizzazioni, la tesi offre implicazioni sia per la comunità scientifica che si occupa di algorithmic fairness sia per la comunità di professionisti impegnati nell’implementazione concreta dell’algorithmic fairness.