FairPilot: an explorative system for hyperparameter tuning through the lens of fairness

This thesis addresses the dual challenges of incorporating fairness into machine learning model optimization and democratizing access to advanced AutoML frameworks. Despite advances in both fairness-aware optimization and AutoML systems, current solutions remain fragmented—either imposing steep coding requirements or failing to integrate fairness-aware optimization techniques. To bridge this gap, this work introduces a unified framework that seamlessly combines fairness-oriented hyperparameter optimization with an accessible, no-code interface. Central to this approach is the development of FairPilot, a web-based platform that enables practitioners (technical or otherwise) to explore and tune machine learning models by simultaneously optimizing for accuracy and fairness. In addition, the thesis proposes two novel contributions in the field of hyperparameter optimization: a Conditional Grid-Search method that refines hyperparameter spaces by preemptively excluding incompatible combinations, and Fair and Accurate Bayesian Optimization (FABO), an algorithm that leverages a probabilistic random forest as a surrogate model to optimize for both predictive performance and fairness. Extensive experiments, supported by simulations on representative datasets, demonstrate that FairPilot consistently produces models with significantly improved fairness metrics with minimal impact on overall accuracy. By merging robust, fairness-aware optimization techniques with an intuitive, user-friendly interface, the proposed solutions paves the way for more ethical, transparent, and widely accessible machine learning practices in sensitive domains. FairPilot not only supports operational efficiency and social accountability but also has the potential to generate positive financial returns by safeguarding reputation and saving costs.

Questa tesi affronta le duplice sfide di integrare la fairness nell'ottimizzazione dei modelli di machine learning e di democratizzare l'accesso a framework avanzati di AutoML. Nonostante i progressi sia nell'ottimizzazione fairness-aware che nei sistemi AutoML, le soluzioni attuali rimangono frammentate—imponendo requisiti di programmazione eccessivi o non integrando alcuna tecnica di ottimizzazione fairness-aware. Per colmare questo divario, questo lavoro introduce un framework unificato che combina in modo semplice ed intuitivo l'ottimizzazione degli iperparametri orientata alla fairness con un'interfaccia semplice, che non richiede scrittura di codice. Al centro di questo approccio vi è lo sviluppo di FairPilot, una piattaforma web che consente agli utenti (tecnici o meno) di esplorare e ottimizzare i modelli di machine learning, perseguendo simultaneamente obiettivi di accuratezza e fairness. Inoltre, la tesi propone due contributi innovativi nel campo dell'ottimizzazione degli iperparametri: un metodo di Conditional Grid-Search che affina gli spazi degli iperparametri escludendo preventivamente le combinazioni fra loro incompatibili, e Fair and Accurate Bayesian Optimization (FABO), un algoritmo che sfrutta una probabilistic random forest come modello surrogato per ottimizzare sia le performance predittive che la fairness. Ampi esperimenti, supportati da simulazioni su dataset rappresentativi, dimostrano che FairPilot produce anche modelli con metriche di fairness significativamente migliorate, con un impatto minimo sull'accuratezza complessiva. Coniugando tecniche di ottimizzazione robuste e fairness-aware con un'interfaccia intuitiva e user-friendly, la soluzione proposta si prefigge di spalancare la strada a pratiche di machine learning più etiche, trasparenti e accessibili in settori sensibili. FairIlot ha non solo il potenziale per migliorare l'efficienza operativa, ma anche di generare ritorni economici positivi, proteggendo la reputazione e riducendo i costi.