The rapid escalation of data generation in recent years has oriented Machine Learning toward applications designed to manage continuous, unbounded data streams, in a field called Streaming Machine Learning. This thesis investigates the application of Streaming Machine Learning in the classification of satellite imagery, a domain where timely analysis of incoming data is essential for effective decision-making in areas such as environmental monitoring, disaster response, and urban planning. Unlike traditional batch processing, Streaming Machine Learning enables real-time decision-making and adaptation to changes in data distribution, ensuring models remain relevant as new data arrives. To address the computational challenges associated with high-dimensional satellite data, this research proposes an optimized pipeline incorporating Streaming Linear Discriminant Analysis with Kalman Filtering, namely Kalman-SLDA, for robust classification performance. Advanced dimensionality reduction techniques, including Sparse Random Projection and a novel adaptation of the UMAP algorithm for streaming environments, are employed to mitigate the computational load without compromising classification accuracy. Experimental results demonstrate that Kalman-SLDA outperforms traditional classifiers in terms of accuracy and efficiency, even in the presence of class imbalance and concept drift. Furthermore, the proposed pipeline leverages dimensionality reduction to improve computational speed, presenting a viable solution for the real-time processing demands of satellite data. The findings underscore the importance of developing efficient algorithms for streaming data and contribute to support rapid, data-driven decision-making in dynamic environments. This work provides a foundation for future research into adaptive, scalable classification pipelines for satellite imagery, with the potential to improve a wide range of applications in geospatial analysis.

Il rapido aumento della generazione di dati negli ultimi anni ha condotto il Machine Learning verso applicazioni sempre più orientate a gestire flussi di dati continui e illimitati, un campo denominato Streaming Machine Learning. Questa tesi esplora l'applicazione dello Streaming Machine Learning nella classificazione delle immagini satellitari, un ambito in cui l'analisi tempestiva dei dati è essenziale per guidare le decisioni in contesti quali il monitoraggio ambientale, la risposta alle catastrofi e la pianificazione urbana. A differenza dei tradizionali approcci batch, lo Streaming Machine Learning consente di prendere decisioni in tempo reale e di adattarsi ad eventuali cambiamenti nella distribuzione dei dati, garantendo che i modelli rimangano accurati con l'afflusso di nuove informazioni. Per affrontare i problemi computazionali associati ai dati satellitari ad alta dimensionalità, questa ricerca propone una pipeline ottimizzata che implementa il classificatore SLDA integrato con il filtro di Kalman, chiamato Kalman-SLDA, mirando a garantire una classificazione robusta delle immagini. Tecniche avanzate di riduzione della dimensionalità, tra cui Sparse Random Projection e un innovativo adattamento dell'algoritmo UMAP per contesti streaming, sono impiegate per ridurre il carico computazionale mantenendo un'elevata precisione nella classificazione. I risultati sperimentali evidenziano che Kalman-SLDA supera i classificatori tradizionali sia in termini di accuratezza che di efficienza, anche in presenza di classi sbilanciate e variazioni nella distribuzione dei dati. Inoltre, la pipeline proposta sfrutta la riduzione della dimensionalità per migliorare la velocità di elaborazione, presentando una soluzione valida per le esigenze di analisi in tempo reale dei dati satellitari. I risultati sottolineano l'importanza di sviluppare algoritmi efficienti per flussi di dati continui, contribuendo a supportare decisioni rapide ed informate in ambienti dinamici. Questo lavoro fornisce una base per future ricerche su pipeline di classificazione adattive per immagini satellitari, con il potenziale di migliorare una vasta gamma di applicazioni nell'analisi geospaziale.

Kalman-Enhanced streaming Machine Learning for real-time land use classification in satellite imagery

Francescon, Nicola
2023/2024

Abstract

The rapid escalation of data generation in recent years has oriented Machine Learning toward applications designed to manage continuous, unbounded data streams, in a field called Streaming Machine Learning. This thesis investigates the application of Streaming Machine Learning in the classification of satellite imagery, a domain where timely analysis of incoming data is essential for effective decision-making in areas such as environmental monitoring, disaster response, and urban planning. Unlike traditional batch processing, Streaming Machine Learning enables real-time decision-making and adaptation to changes in data distribution, ensuring models remain relevant as new data arrives. To address the computational challenges associated with high-dimensional satellite data, this research proposes an optimized pipeline incorporating Streaming Linear Discriminant Analysis with Kalman Filtering, namely Kalman-SLDA, for robust classification performance. Advanced dimensionality reduction techniques, including Sparse Random Projection and a novel adaptation of the UMAP algorithm for streaming environments, are employed to mitigate the computational load without compromising classification accuracy. Experimental results demonstrate that Kalman-SLDA outperforms traditional classifiers in terms of accuracy and efficiency, even in the presence of class imbalance and concept drift. Furthermore, the proposed pipeline leverages dimensionality reduction to improve computational speed, presenting a viable solution for the real-time processing demands of satellite data. The findings underscore the importance of developing efficient algorithms for streaming data and contribute to support rapid, data-driven decision-making in dynamic environments. This work provides a foundation for future research into adaptive, scalable classification pipelines for satellite imagery, with the potential to improve a wide range of applications in geospatial analysis.
ZIFFER, GIACOMO
ING - Scuola di Ingegneria Industriale e dell'Informazione
11-dic-2024
2023/2024
Il rapido aumento della generazione di dati negli ultimi anni ha condotto il Machine Learning verso applicazioni sempre più orientate a gestire flussi di dati continui e illimitati, un campo denominato Streaming Machine Learning. Questa tesi esplora l'applicazione dello Streaming Machine Learning nella classificazione delle immagini satellitari, un ambito in cui l'analisi tempestiva dei dati è essenziale per guidare le decisioni in contesti quali il monitoraggio ambientale, la risposta alle catastrofi e la pianificazione urbana. A differenza dei tradizionali approcci batch, lo Streaming Machine Learning consente di prendere decisioni in tempo reale e di adattarsi ad eventuali cambiamenti nella distribuzione dei dati, garantendo che i modelli rimangano accurati con l'afflusso di nuove informazioni. Per affrontare i problemi computazionali associati ai dati satellitari ad alta dimensionalità, questa ricerca propone una pipeline ottimizzata che implementa il classificatore SLDA integrato con il filtro di Kalman, chiamato Kalman-SLDA, mirando a garantire una classificazione robusta delle immagini. Tecniche avanzate di riduzione della dimensionalità, tra cui Sparse Random Projection e un innovativo adattamento dell'algoritmo UMAP per contesti streaming, sono impiegate per ridurre il carico computazionale mantenendo un'elevata precisione nella classificazione. I risultati sperimentali evidenziano che Kalman-SLDA supera i classificatori tradizionali sia in termini di accuratezza che di efficienza, anche in presenza di classi sbilanciate e variazioni nella distribuzione dei dati. Inoltre, la pipeline proposta sfrutta la riduzione della dimensionalità per migliorare la velocità di elaborazione, presentando una soluzione valida per le esigenze di analisi in tempo reale dei dati satellitari. I risultati sottolineano l'importanza di sviluppare algoritmi efficienti per flussi di dati continui, contribuendo a supportare decisioni rapide ed informate in ambienti dinamici. Questo lavoro fornisce una base per future ricerche su pipeline di classificazione adattive per immagini satellitari, con il potenziale di migliorare una vasta gamma di applicazioni nell'analisi geospaziale.
File allegati
File Dimensione Formato  
2024_12_Francescon_Tesi.pdf

accessibile in internet per tutti

Descrizione: Testo della tesi
Dimensione 5.17 MB
Formato Adobe PDF
5.17 MB Adobe PDF Visualizza/Apri
2024_12_Francescon_Executive Summary.pdf

accessibile in internet per tutti

Descrizione: Executive Summary
Dimensione 788.01 kB
Formato Adobe PDF
788.01 kB Adobe PDF Visualizza/Apri

I documenti in POLITesi sono protetti da copyright e tutti i diritti sono riservati, salvo diversa indicazione.

Utilizza questo identificativo per citare o creare un link a questo documento: https://hdl.handle.net/10589/230669