A discrete bandit approach to hyperparameter optimization

In machine learning, the step of choosing the right algorithm parameters is known as Hyperparameter Optimization, and it is a growing field of research due to the exploding popularity of Data Science. This document has the goal of tuning the hyperparameters of a boosted trees model (a popular machine learning algorithm), and it presents some of the common approaches to this type of optimization, also presenting a new algorithm that was created as a more stable adaptation of Hyperband, one of the most famous methods in the literature.

Nella letteratura anglofona sul Machine Learning, il processo di scelta dei giusti parametri per un algoritmo è conosciuto come Hyperparameter Optimization, ed è un argomento di crescente interesse per via della grande popolarità acquisita dal Data Science. Questo documento presenta alcune delle tecniche più comuni per l'ottimizzazione dei metaparametri, introducendo un nuovo algoritmo che ha il fine di migliorare Hyperband, uno dei metodi di ottimizzazione più famosi in letteratura, nel caso specifico in cui venga usato su algoritmi che fanno uso di boosting su modelli ad alberi.