Classification of evolving images using streaming machine learning and contrastive learning

In recent years, Streaming Machine Learning (SML) has received increasing attention due to its ability to update models in real-time. However, the application of SML to image streams remains relatively underinvestigated. These streams present a unique challenge due to the high dimensionality of the data and the frequent temporal variations in image distribution. Traditional models struggle to adapt to these continuous variations, and this lack of adaptation has led to unsatisfactory results in real-world scenarios. This thesis focuses on creating a pipeline that integrates SML models with the Momentum Contrastive Learning (MoCo) technique to classify image streams characterized by temporal shifts in distribution. The addressed problem concerns adapting learning models to continuous variations in image distribution, a common challenge in real-time contexts. The main objective of the work is to assess whether the joint use of MoCo and SML can improve predictive performance in the presence of these shifts. After training MoCo on a set of images, we assessed the impact of incrementally re-training the model to adapt to new incoming data, using techniques such as ADWIN to detect changes in distribution. Our investigations, conducted on the Yearbook dataset of the Wild-Time, the first benchmark dataset with a natural temporal shift of visual concepts, originating out-of-distribution data, confirm our approach as an efficient streaming pipeline for image processing in anytime classifier scenarios.

Negli ultimi anni, lo Streaming Machine Learning (SML) ha ricevuto crescente attenzione grazie alla sua capacità di aggiornare i modelli in tempo reale. Tuttavia, l'applicazione degli algoritmi di SML ai flussi di immagini rimane relativamente sottoindagato. Questi flussi rappresentano una sfida unica, data dall'alta dimensionalità dei dati e dalle frequenti variazioni temporali nella distribuzione delle immagini. I modelli tradizionali faticano ad adattarsi a queste continue variazioni e questa mancanza di adattamento ha portato a risultati insoddisfacenti in scenari reali. La presente tesi si concentra sulla creazione di una pipeline che integra modelli di Streaming Machine Learning (SML) con la tecnica di Momentum Contrastive Learning (MoCo) per classificare flussi di immagini caratterizzati da spostamenti temporali della distribuzione. Il problema affrontato riguarda l'adattamento dei modelli di apprendimento alle variazioni continue nella distribuzione delle immagini, una sfida comune nei contesti real-time. L'obiettivo principale del lavoro è valutare se l'uso congiunto di MoCo ed SML può migliorare le prestazioni predittive in presenza di questi spostamenti. Dopo aver addestrato MoCo su un insieme di immagini, si è valutato l'impatto del riaddestramento incrementale del modello per adattarsi ai nuovi dati in arrivo, utilizzando tecniche come ADWIN per rilevare i cambiamenti nella distribuzione. Le nostre indagini, condotte sul dataset Yearbook di Wild-Time, il primo dataset di riferimento con un naturale spostamento temporale dei concetti visivi, originando dati out-of-distribution, confermano il nostro approccio come un'efficiente pipeline di streaming per l'elaborazione delle immagini in scenari di classificazione.