Efficient streaming image classification via deep embeddings and random projection

The increasing volume of collected data and the need for real-time updates of predictive models have motivated the development of Streaming Machine Learning (SML), a field that aims at developing Machine Learning models that learn incrementally and adapt to possible changes in distribution, known as concept drifts, that may emerge when dealing with dynamic data streams. So far, SML research has mainly focused on low-dimensional, tabular data. In this work, the aim is to extend the analysis to the more complex field of image classification. In the last fifteen years, Convolutional Neural Networks (CNNs) have achieved remarkable accuracy in image classification, but their training is computationally demanding and it requires large static datasets, thus they are not immediately applicable in a SML framework. In this thesis, a pipeline for efficient image stream classification is proposed and evaluated through an extensive experimental campaign. This methodology involves a first step in which pre-trained CNNs are used to extract meaningful feature vectors from images, followed by a dimensionality reduction phase to reduce the feature vectors. Eventually, streaming classifiers or ensemble methods are applied to the reduced feature vectors for the final classification. This pipeline has proved to be effective, reaching over 65\% of accuracy on a 100-class streaming classification task. In particular, the usage of Random Projection to perform the dimensionality reduction step has demonstrated to lower the computational effort, while maintaining or even improving the accuracy of streaming classifiers. This finding makes a step in the direction of practical applicability of SML to the field of image classification in resource-constrained scenarios.

Il crescente volume dei dati raccolti e l'esigenza di aggiornamento in tempo reale dei modelli predittivi sono motivi che hanno spinto lo sviluppo dello Streaming Machine Learning (SML), un campo che si occupa di sviluppare modelli di apprendimento automatico che imparano in maniera incrementale e si adattano a possibili cambi nella distribuzione dei dati, detti "concept drifts", che possono emergere quando si gestiscono flussi dinamici di dati. Finora, la ricerca nell'ambito dello Streaming Machine Learning si è focalizzata prevalentemente su dati tabulari a bassa dimensionalità. In questo lavoro, l'obiettivo è estendere l'analisi al contesto più complesso della classificazione di immagini. Negli ultimi quindici anni, le reti neurali convoluzionali hanno raggiunto notevole accuratezza nella classificazione di immagini, ma il loro addestramento è oneroso dal punto di vista computazionale e richiede una grande mole di dati statici, rendendole quindi non immediatamente applicabili al contesto dello Streaming Machine Learning. In questa tesi viene proposta una procedura efficiente per classificare flussi di immagini, che viene valutata attraverso una campagna sperimentale approfondita. Questa metodologia prevede un primo passaggio, in cui una rete neurale convoluzionale pre-allenata è usata per estrarre vettori di feature a partire dalle immagini, seguito da una fase di riduzione della dimensionalità per ridurre la dimensione dei suddetti vettori. Infine, dei classificatori o metodi ensemble streaming sono applicati ai vettori ridotti per la classificazione finale. Questa procedura è risultata efficace, raggiungendo oltre il 65\% di accuratezza su un problema di classificazione di flussi di immagini con 100 classi. In particolare, l'utilizzo della Random Projection per eseguire il passaggio di riduzione della dimensionalità ha mostrato di ridurre lo sforzo computazionale, preservando o addirittura migliorando l'accuratezza dei classificatori streaming. Questo risultato rappresenta un passo verso l'applicabilità pratica dello Streaming Machine Learning al campo della classificazione di immagini in scenari con risorse limitate.