A switching adaption mode for model validity preservation via online deep learning

This thesis presents an online deep-learning-based system for preserving the quality of the deployed model, by continuously providing high-quality machine learning-enabled services. The proposed approach starts with an initial model based on an artificial neural network, continuously updated using new data, and then retrospectively evaluated in an online fashion. This approach can be instantiated using Machine Learning Operations (MLOps), automating ongoing validation, and handling concept drifts for the deployed models. The thesis analyzes the state of the art in MLOps, identifies the leading tools, and proposes instantiations to deal with them. The thesis analyzes common drift remediation types, and proposes algorithm adaptations in these cases. The thesis tests the approach on a dataset of 8642 hospitalized patients gathered over six months, looking for a current infection with SARS-CoV- 2, the virus that causes CoViD-19. An initial model is created using data from a one-month-long observation; afterwards, the model is assessed online utilizing data over five-month-long observations. The method reached an AUC of 0.794 in forecasting RT-PCR test outcomes, 6% better than offline binary classification techniques and 5% more accurate than standard online- learning techniques.

La tesi presenta un sistema basato sull’apprendimento online per preservare la qualità del modello di intelligenza artificiale in produzione per fornire continuamente servizi abilitati per l’apprendimento automatico di alta qualità. L’approccio proposto inizia con un modello iniziale basato su una rete neurale artificiale, continuamente aggiornato utilizzando nuovi dati, e quindi valutato retrospettivamente in modo online. Questa soluzione può essere istanziata utilizzando operazioni per l’apprendimento automatico (MLOps), automatizzando la continua convalida e la gestione delle derive concettuali per i modelli distribuiti. La tesi analizza lo stato dell’arte di MLOps, identifica gli strumenti principali e propone istanze per affrontare una corretta modellizzazione. La tesi analizza i tipi comuni di correzione della deriva e propone adattamenti dell’algoritmo in questi casi. La tesi testa l’approccio su un set di dati di 8642 pazienti ospedalizzati raccolti in sei mesi, alla ricerca di un’infezione in corso con SARS-CoV-2, il virus che causa CoViD-19. Viene definito un modello iniziale utilizzando un periodo di un mese di dati; successivamente, il modello è stato valutato online utilizzando i dati provenienti da un periodo di cinque mesi. Il metodo ha raggiunto un AUC di 0.794 nella previsione dei risultati del test RT-PCR, 6% migliore rispetto alle tecniche di classificazione binaria offline e 5% più accurato rispetto alle tecniche comuni di apprendimento online.