Learning in non-stationary environments: from a specific application to more general algorithms

In recent years, Machine Learning (ML) has gained a lot of attention and popularity because of its ability to model highly complex phenomena given sufficiently large data sets. This thriving field embraces all the algorithms and techniques able to automatically learn a given task using a finite amount of data that can be thought of as experience. These algorithms are usually paired with some assumptions which may or may not be satisfied in real-world practical applications. For instance, some algorithms assume to have an input signal and its associated output (also called supervised information) for each example in their training data set such that they can learn a mapping from the input signal to the output that generalizes on previously unseen examples. This assumption is not always satisfied in practice, where the output signal could be too expensive to be collected. An example of this mismatch between theory and practice can be found in the context of corrosion prediction for pipeline infrastructures. Here the output signal, corresponding to the presence of corrosion in a given point of the pipeline, is hardly available for the infrastructure of interest due to the incredibly huge cost companies have to bear in order to collect it. Another fundamental assumption associated with ML techniques is about stationary data-generating processes, which implies that the phenomenon we are trying to learn does not change as time passes by. Examples of applications where the stationarity assumption about the data-generating process does not hold are in the context of finance, due to market evolution, in the context of water reservoir systems, due to climate change, in the context of corrosion, because of the wear and tear of infrastructures that increases with time, etc. In all the above-mentioned scenarios, ML techniques cannot be directly applied without softening the assumptions about the availability of supervised information or stationarity they are equipped with. Therefore, in the context of this dissertation, inspired by the specific application needs of corrosion prediction in pipeline infrastructures, we will investigate ML solutions able to weaken the assumptions of available supervised information and stationarity. Even though the lack of supervised information is a thoroughly researched problem thanks to Transfer Learning (TL), it is overlooked in the context of corrosion prediction requesting tailored solutions for this critical application. Softening the assumption of stationary data-generating processes, instead, is much less studied in lots of different ML sub-fields motivating a much more general investigation within the scope of this dissertation. The contribution of this dissertation is composed of three main parts. The first part deals with ML-based techniques for corrosion prediction starting from the data set creation up to the development of predictive models that can circumvent the need for supervised information when it is not available for the pipeline infrastructure of interest. Building a predictive model without the availability of supervised information on the facility of interest while being never considered by the related literature on corrosion prediction is of utmost importance because the collection of such information is incredibly expensive for companies managing such infrastructures and constitutes an additional step toward a more appropriate corrosion prevention through ML-based tools and techniques. The second part deals with Reinforcement Learning (RL) in non-stationary environments developing two methodological solutions: the former is an active-adaptive approach that can weaken the stationarity assumption in the context of the task the RL agent is currently trying to solve, and it achieves better average returns in presence of a concept drift as opposed to its non-active-adaptive counterpart; the latter is a TL approach for RL able to deal with a time-variant distribution underlying the task generating process that is an overlooked setting in the related TL literature and in which the proposed solution obtains performance improvements in terms of average return over its time-invariant equivalent. The third part deals with Federated Learning (FL) under non-stationarity and pervasive systems introducing a passive-adaptive approach to mitigate the effect of non-stationary data-generating processes in FL settings, and an ad hoc birdsong detection approach for highly constrained devices at the edge of a pervasive system. The passive-adaptive approach is able to experimentally improve the convergence rate of the learning curve after a concept drift, and, in some cases, even in stationary conditions before the concept drift occurs, wrt its non-adaptive counterpart. Instead, the birdsong detection approach achieves performances in line with the state of the art at a lower cost in terms of computational demand and memory footprint. Furthermore, with appropriate approximations, this last solution can be deployed on real Internet-of-Things (IoT) units.

Negli ultimi anni, il Machine Learning (ML) ha guadagnato molta attenzione e popolarità grazie alla sua capacità di modellare fenomeni altamente complessi attraverso l'uso di un insieme di dati sufficientemente grande. Questa fiorente disciplina abbraccia tutti gli algoritmi e le tecniche in grado di apprendere automaticamente un determinato compito utilizzando una quantità finita di dati che possono essere pensati come esperienza. Questi algoritmi sono solitamente associati ad alcune ipotesi che possono essere soddisfatte o meno in contesti reali. Ad esempio, alcuni algoritmi presumono di avere un segnale di ingresso e uno d'uscita (chiamato anche informazione supervisionata) per ogni campione presente nel loro insieme di dati d'addestramento in modo tale da poter apprendere una relazione tra il segnale di ingresso e quello d'uscita che generalizzi su campioni mai visti in precedenza. Questa ipotesi non è sempre soddisfatta nella pratica, dove il segnale di uscita potrebbe essere troppo costoso per essere collezionato. Un esempio di questa discrepanza tra teoria e pratica lo si trova nel contesto della predizione della corrosione per le condutture. Qui il segnale in uscita, corrispondente alla presenza di corrosione in un dato punto della condotta, è difficilmente disponibile per l'infrastruttura di interesse a causa dei costi incredibilmente alti che le aziende devono sostenere per raccoglierlo. Un'altra assunzione fondamentale associata alle tecniche di Machine Learning riguarda la stazionarietà dei processi di generazione dei dati, il che implica che il fenomeno che stiamo cercando di apprendere non cambia con il passare del tempo. Esempi di applicazioni in cui l'ipotesi di stazionarietà del processo di generazione dei dati non regge li troviamo nel contesto della finanza, a causa dell'evoluzione del mercato, nei sistemi di riserva idrica, a causa del cambiamento climatico, nella corrosione, a causa dell'usura delle infrastrutture che aumenta con il passare del tempo, ecc. In tutti gli scenari summenzionati, le tecniche di Machine Learning non possono essere applicate direttamente senza ammorbidire le ipotesi sulla disponibilità di informazione supervisionata o sulla stazionarietà. Pertanto, nell'ambito di questa tesi, ispirata alle specifiche esigenze applicative della predizione della corrosione nelle condutture, indagheremo soluzioni ML in grado di indebolire le ipotesi di disponibilità di informazione supervisionata e stazionarietà. Anche se la mancanza di informazione supervisionata è un problema studiato a fondo grazie al Transfer Learning (TL), essa viene completamente trascurata nel contesto della predizione della corrosione, che richiede, quindi, apposite soluzioni su misura. L'indebolimento dell'assunzione relativa alla stazionarietà dei processi di generazione di dati, invece, è molto meno studiato in diverse aree del Machine Learning, motivando, quindi, un'indagine molto più generale di questa tematica nell'ambito di questa tesi. Il contributo di questa tesi è composto da tre parti principali. La prima parte si occupa di tecniche basate sul Machine Learning per la predizione della corrosione partendo dalla creazione di un insieme di dati rappresentativo del fenomeno corrosivo fino allo sviluppo di modelli predittivi in grado di aggirare la necessità di informazione supervisionata quando essa non è disponibile per la conduttura di interesse. Costruire un modello predittivo senza la disponibilità di informazioni supervisionate sulla struttura di interesse, pur non essendo una problematica mai considerata dalla relativa letteratura sulla predizione della corrosione, rappresenta un obbiettivo di massima rilevanza perché la raccolta di tali informazioni è incredibilmente costosa per le aziende che gestiscono tali infrastrutture e costituisce un ulteriore passo verso una prevenzione della corrosione più appropriata attraverso strumenti e tecniche basati sul Machine Learning. La seconda parte si occupa dell'appendimento per rinforzo (o Reinforcement Learning (RL)) in ambienti non stazionari sviluppando due soluzioni metodologiche: la prima è un approccio attivo-adattivo in grado di indebolire l'assunzione di stazionarietà nel contesto del compito che l'agente RL sta attualmente cercando di portare a termine e che è in grado di ottenere returns medi migliori rispetto alla sua controparte non attiva-adattiva; la seconda è un approccio TL per RL in grado di gestire una distribuzione tempo-variante alla base del processo di generazione dei compiti che l'agente RL deve portare a termine. Tale approccio costituisce una soluzione per una configurazione che non viene mai considerata dalla relativa letteratura transfer, e in cui l'approccio proposto ottiene miglioramenti delle prestazioni in termini di return medio rispetto alla sua controparte tempo invariante. La terza parte tratta l'apprendimento federato (o federated Learning (FL)) in sistemi pervasivi caratterizzati da non-stazionarietà introducendo un approccio passivo-adattivo per mitigare l'effetto della non-stazionarietà nei processi di generazione dei dati. Infine, nel contesto di un'applicazione ML per sistemi pervasivi, viene presentato un approccio ad hoc di rilevamento del canto degli uccelli per dispositivi fortemente vincolati. L'approccio passivo-adattivo è in grado di migliorare sperimentalmente il tasso di convergenza della curva di apprendimento dopo una non-stazionarietà, e, in alcuni casi, anche in condizioni stazionarie prima che si verifichi la non-stazionarietà stessa, rispetto alla sua controparte non adattiva. Per quanto riguarda l'approccio di rilevamento del canto degli uccelli, esso raggiunge prestazioni in linea con lo stato dell'arte ad un costo inferiore in termini di necessità computazionali e di memoria, inoltre, con opportune approssimazioni questa soluzione può essere implementata su unità IoT (Internet-of-Things) reali.