Beyond IID: online learning for temporal and evolving data streams

Data stream mining has gained increasing attention in Machine Learning (ML), especially with the widespread adoption of sensor networks and the Internet of Things. Traditionally, such data were stored as time series and analyzed offline in batches, but modern applications demand real-time processing. This raises a fundamental question about the relationship between data streams and time series: on one hand, time series can naturally appear in streaming form; on the other, many streams exhibit temporal correlations that align them with time series. Empirical studies have confirmed that widely used benchmarks in the data stream literature already contain sequential structures, yet most approaches operate under the assumption that individual observations are independent and identically distributed (IID). Streaming Machine Learning (SML) and Time Series Analysis (TSA) each address part of this challenge. SML algorithms update their models continuously as new data arrive, processing streams in real time and adapting to changes in the data distribution, commonly referred to as concept drift, but still assume that observations are independent. TSA, in contrast, explicitly models temporal dependencies through autoregressive and structural decomposition methods, yet requires stationarity as a precondition. When temporal dependence and non-stationarity coexist, as is common in real-world streams, both paradigms face fundamental limitations that neither can resolve in isolation. This raises a central research question: can we develop unified learning frameworks that simultaneously adapt to distributional shifts while exploiting temporal dependencies in non-IID streaming environments? This dissertation addresses this question through a progression from theoretical unification to algorithmic design and experimental validation. A unified taxonomy of temporal data evolution and a formal framework of design principles for non-IID streaming systems are proposed, establishing the conceptual foundation of the work. These principles are then instantiated through a series of contributions spanning benchmarking environments, adaptive neural and probabilistic learners for structured streams, and diagnostic and classification pipelines for unstructured data, specifically image streams. The results demonstrate that bridging the structural depth of TSA with the adaptive efficiency of SML is not only feasible but necessary to effectively address the challenges posed by temporal and evolving data streams.

Lo studio dei flussi di dati ha acquisito crescente attenzione nell'ambito del Machine Learning (ML), in particolare con la diffusione capillare delle reti di sensori e dell'Internet of Things. Tradizionalmente, tali dati venivano archiviati come serie temporali e analizzati offline in modalità batch, ma le applicazioni moderne richiedono elaborazione in tempo reale. Ciò solleva una questione fondamentale sul rapporto tra flussi di dati e serie temporali: da un lato, le serie temporali possono naturalmente presentarsi in forma di flusso; dall'altro, i flussi di dati stessi mostrano spesso correlazioni sequenziali che li avvicinano alle serie temporali. Diversi studi empirici confermano che i benchmark più utilizzati nella letteratura sui flussi di dati contengono già strutture sequenziali, eppure la maggior parte degli approcci opera sotto l'assunzione che le singole osservazioni siano indipendenti e identicamente distribuite (IID). Lo Streaming Machine Learning (SML) e l'Analisi delle Serie Temporali (TSA) affrontano ciascuno una parte di questa sfida. Gli algoritmi SML aggiornano in continuo i propri modelli man mano che nuovi dati arrivano, elaborando i flussi in tempo reale e adattandosi ai cambiamenti nella distribuzione dei dati, comunemente noti come concept drift, ma assumono comunque l'indipendenza tra le osservazioni. TSA, al contrario, modella esplicitamente le dipendenze temporali attraverso metodi autoregressivi e di decomposizione strutturale, ma richiede la stazionarietà come precondizione. Quando dipendenza temporale e non stazionarietà coesistono, come avviene comunemente nei flussi di dati reali, entrambi i paradigmi incontrano limitazioni fondamentali che nessuno dei due è in grado di risolvere isolatamente. Ciò pone una domanda di ricerca centrale: è possibile sviluppare framework di apprendimento unificati che si adattino simultaneamente ai cambiamenti nella distribuzione dei dati sfruttando le dipendenze temporali in ambienti di streaming non IID? La tesi affronta questa domanda attraverso una progressione che va dall'unificazione teorica alla progettazione algoritmica e alla validazione sperimentale. Vengono proposti una tassonomia unificata dell'evoluzione temporale dei dati e un framework formale di principi progettuali per sistemi di analisi in streaming non IID, stabilendo le fondamenta concettuali del lavoro. Questi principi vengono poi istanziati attraverso una serie di contributi che spaziano dagli ambienti di benchmarking, ai learner adattativi neurali e probabilistici per flussi strutturati, fino a pipeline diagnostiche e di classificazione per dati non strutturati, in particolare flussi di immagini. I risultati dimostrano che colmare il divario tra il rigore strutturale di TSA e l'efficienza adattiva dello SML non è solo possibile, ma necessario per affrontare efficacemente le sfide poste dai flussi di dati temporali e non stazionari.