Explainable Pareto fronts via model-agnostic methods

Multi-Objective Optimization problems are of high practical importance, as most real-world problems are suitable to be modeled using a series of conflicting objectives. This category of problems has historically been solved using Genetic Algorithms, meta-heuristic methods capable of simultaneously optimizing an arbitrary number of objectives. A solution is composed of a pair of values: decision variables and objective values. For a Multi-Objective Optimization problems, it is not guaranteed that a single solution optimizes each objective simultaneously. A solution is said to be non-dominated or Pareto Optimal if no objective can be improved without deteriorating another. There can be a potentially infinite number of solutions that collectively generate a set of solutions called the Pareto Front. The ultimate goal is to provide a Decision-Maker with as many solutions as possible to decide upon, based on their personal preferences, the single solution to implement that satisfies their needs. In this thesis, we propose applying Explainability methods typically used in Machine Learning to explain Black-Box models to a Pareto Front. Explainability methods have the potential to explain the relationship between decision variables and objectives for Pareto optimal solutions. The application of these methods leads to the extraction of additional information regarding the problem and the solutions themselves. The aim is to provide a Decision-Maker with a tool that allows them to make a more informed choice and the opportunity to refine the solutions proposed by the genetic algorithm used. We also propose a procedure for effectively applying these methods to multimodal Multi-Objective Optimization problems. This category of problems bring additional complexities, since there are different sets of decision variables that are diverse but generate similar or coincident objective values. Successfully identifying which and how many sets of decision variables exist for certain objective values gives a decision-maker greater freedom in selecting a solution, allowing them to express preferences not only on objective values but also on decision variables.

I problemi di Ottimizzazione Multi-Obiettivo hanno un'elevata importanza pratica, dal momento che la maggior parte dei problemi reali sono adatti ad essere modellati usando una serie di obiettivi tra loro in conflitto. Questa categoria di problemi viene storicamente risolta per mezzo di Algoritmi Genetici, metodi meta-euristici in grado di ottimizzare contemporaneamente un numero arbitrario di obiettivi. Una soluzione è composta da una coppia di valori: variabili di decisione, valori obiettivo. Per un problema di ottimizzazione multi-obiettivo, non è garantito che una singola soluzione ottimizzi simultaneamente ciascun obiettivo. Una soluzione è detta non dominata o Pareto Ottimale se nessun obiettivo può essere migliorato senza deteriorarne un altro. Possono esistere un numero potenzialmente infinito di soluzioni che generano collettivamente un insieme di soluzioni chiamato Pareto Front. Lo scopo finale consiste nel fornire a un Decision-Maker umano il maggior numero possibile di soluzioni tra le quali decidere, in base alle sue preferenze personali, la singola soluzione da attuare che soddisfi le sue esigenze. In questa tesi proponiamo di applicare metodi di Explainability tipicamente utilizzati in Machine Learning per spiegare modelli Black-Box ad una Pareto Front. I metodi di explainability hanno la potenzialità di spiegare la relazione tra variabili di decisione e obiettivi per le soluzioni pareto ottimali. L'applicazione di questi metodi porta all'estrazione di informazioni aggiuntive riguardanti il problema e le soluzioni stesse. Lo scopo è quello di fornire a un Decision-Maker uno strumento che possa permettergli di effettuare una scelta più consapevole e la possibilità di raffinare le soluzioni proposte dall'algoritmo genetico utilizzato. Proponiamo inoltre una procedura per applicare questi metodi in maniera efficace su problemi di ottimizzazione multi-obiettivo multimodali. Questa categoria di problemi porta complessità aggiuntive, esistono infatti diversi insiemi di variabili di decisioni tra loro diversi che generano tuttavia valori obiettivo simili o coincidenti. Riuscire a identificare correttamente quali e quanti insiemi di variabili di decisione esistono per determinati valori obiettivo garantisce ad un decision-maker maggiore libertà d'azione nel selezionare una soluzione, permettendogli di esprimere delle preferenze, oltre che sui valori obiettivo, anche sulle variabili di decisione.