Challenge-oriented review of multi-objective optimization algorithms for hyperparameter tuning on an imbalanced dataset

Recommender Systems are algorithms which are able to suggest items to users, specifically the new items that a user might like best. Thanks to this property, the Recommender System area gained popularity in the recent years, being used in many web services. The goal of a Recommender System, in general, is to predict the likelihood for a user to like an item or to estimate the rating that a user would give to an item. Recommender Systems live in a specific area of application of more general Machine Learning techniques. In order to obtain the best possible performance on a problem, every Machine Learning algorithm entails an Optimization part, whose goal is to find the best values of the algorithm's internal parameters so its performance is optimized. The objective function can either be only one (Single-Objective Optimization), or there can be multiple objectives to optimize at once (Multi-Objective Optimization). Another point that almost all the Machine Learning algorithms have in common is that they entail some Hyperparameters, which have a crucial role in order to get good performance. The value of each Hyperparameter needs to be optimized as well, performing what is called the Hyperparameter Tuning. In this thesis we perform the Multi-Objective Hyperparameter Tuning of a model designed by our team for the participation to the ACM RecSys Challenge of 2020, in which we obtained the fourth position in the final leaderboard, and the first place among the academic teams. Doing so, we study different algorithms, from the one that performs Single-Objective optimization to the ones that are designed for Multi-Objective optimization, and we compare their performance in all of the challenge's dataset's labels.

I Recommender Systems sono algoritmi capaci di suggerire contenuti ad utenti, specificamente i nuovi contenuti che potrebbero piacere maggiormente ad un utente. Grazie a questa proprietà, l'area dei Recommender System ha ottenuto una grande popolarità negli ultimi anni, essendo utilizzata in molti servizi web. L'obiettivo di un Recommender System, in generale, è quello di predire la probabilità che ad un utente piaccia un oggetto, oppure stimare la valutazione che un utente potrebbe assegnare ad un oggetto. I Recommender System vivono in una specifica area di applicazione di tecniche di Machine Learning più generiche. Per ottenere il miglior risultato possibile rispetto a un problema, tutti gli algoritmi di Machine Learning comprendono una parte di ottimizzazione, il cui scopo è di trovare il miglior valore possibile per i parametri interni dell'algoritmo cosicché le sue prestazioni siano ottimizzate. La funzione obiettivo può sia essere solamente una (Ottimizzazione Singolo-Obiettivo) oppure possono esserci molteplici funzioni obiettivo da ottimizzare contemporaneamente (Ottimizzazione Multi-Obiettivo). Un'altra caratteristica che accomuna tutti gli algoritmi di Machine Learning è che quasi tutti comprendono alcuni Iperparametri, che svolgono un ruolo cruciale nell'ottenimento di buone prestazioni. Anche il valore di ciascun Iperparametro deve essere ottimizzato, attuando quello che viene definito Tuning degli Iperparametri. In questa tesi eseguiamo il Tuning Multi-Obiettivo degli Iperparametri di un modello sviluppato dal nostro team in occasione della partecipazione alla ACM RecSys Challenge del 2020, dove abbiamo ottenuto la quarta posizione nella classifica finale, e il primo posto tra i team accademici. Per fare questo, studiamo diversi algoritmi, partendo da un algoritmo che esegue l'Ottimizzazione Singolo-Obiettivo e arrivando fino a quelli che sono progettati per l'Ottimizzazione Multi-Obiettivo, e confrontiamo le loro prestazioni in tutte le classi del dataset fornito per la challenge.