An expert learning approach for end to end monitoring optimization

In recent years, Machine Learning (ML) techniques have become indispensable tools for solving problems and extracting valuable insights from the vast amounts of available data. Consequently, most industries have significantly increased the utilization of Machine Learning models to foster decision-making processes. When a ML model is deployed in a real world setting, it must deal with the issue of data non stationarity, which leads to performance degradation and requires continuous adaptation to the dynamic characteristic of the environment. In this thesis, we focus on devising a drift detection technique tailored for real world application. The algorithm leverages an Expert Learning approach to select dynamically the detection configuration optimized for the task being handled. As drift detection lacks effective evaluation measures, due to the absence of ground truths, we propose two criteria that serve as feedback on the quality of the detection and enable the algorithm to select the current optimal detector, mitigating the hyperparameter tuning issue common in many drift detection techniques. We present the framework in which the algorithm operates and assess its importance in terms of fostering model adaptation. The proposed expert based algorithm was tested with two real world datasets belonging to two different Machine Learning domains, demonstrating how this approach can be advantageous in any evolving and non stationary environment.

Negli ultimi anni, le tecniche di apprendimento automatico sono diventate strumenti indispensabili per risolvere problemi e estrarre informazioni dalla vaste quantità di dati disponibili. Di conseguenza, la maggior parte delle industrie ha notevolmente aumentato l'utilizzo di modelli di apprendimento automatico. Quando un modello viene implementato in un contesto del mondo reale, deve affrontare il problema della non stazionarietà dei dati, che porta a una degradazione delle prestazioni e richiede un'adattamento continuo alle caratteristiche dinamiche dell'ambiente. In questa tesi, ci concentriamo sullo sviluppo di una tecnica di concept drift adatta alle applicazioni del mondo reale. L'algoritmo sfrutta un approccio di apprendimento con esperti per selezionare dinamicamente la configurazione di detection ottimale. Dato che il monitoraggio dei dati manca di misure di valutazione efficaci, a causa dell'assenza di ground truth, proponiamo due criteri che possono essere utilizzati come feedback sulla qualità della drift detection e consentire all'algoritmo di selezionare il detector ottimale, mitigando il problema dell'ottimizzazione degli iperparametri comune a molte tecniche di drift detection. Presenteremo il quadro generale in cui il nostro algoritmo opera, valutandone l'importanza in termini di adattamento del modello. Abbiamo testato il nostro algoritmo basato su esperti su due dataset del mondo reale appartanenenti a due diversi domini di apprendimento automatico, dimostrando come questo approccio possa essere vantaggioso in qualsiasi ambiente non stazionario e dinamico.