StreamTinyNet : video streaming analysis with spatial-temporal TinyML

Tiny Machine Learning (TinyML) is an increasingly popular field of study that combines Machine Learning (ML) and embedded devices, enabling ML applications on tiny devices. It has recently gained significant attention thanks to the ability to process data where they are generated, thereby enhancing privacy and security, reducing latency, improving real-time responsiveness, and being able to operate offline (i.e., without requiring a constant internet connection). This research focuses on the task of video streaming analysis, which involves the scanning a sequence of frames (i.e. a video) in a streaming manner to identify interesting patterns. However, due to technological constraints, the execution of ML models for on-device video streaming analysis is currently limited to a frame-by-frame inspection. This limitation hinders the accuracy and robustness of the ML algorithms since the evolution of the scene is typically not considered in the inference process. On the contrary, using a sequence of frames can significantly enhance the accuracy and robustness of the ML algorithm for video streaming analysis. To tackle this challenge, this thesis propose a novel neural network architecture that is specifically designed for TinyML applications, focusing on supporting multiple-frame video streaming analysis on resource-constrained devices. The development of the proposed solution takes into account various constraints imposed by the hardware, such as limited memory availability, as well as requirements set by the application itself, including the need for real-time inference in video streaming analysis tasks. Experimental results on public-available datasets show the effectiveness and the efficiency of the proposed solution. Furthermore, the proposed solutions has been ported and tested on two off-the-shelf devices characterized by different technological constraints showing the feasibility of the proposed solution.

Il Tiny Machine Learning (TinyML) è un campo di studio sempre più popolare che combina il Machine Learning (ML) e i dispositivi embedded, consentendo l'applicazione di ML su dispositivi di piccole dimensioni. Ha recentemente attirato molta attenzione grazie alla capacità di elaborare i dati dove vengono generati, migliorando così la privacy e la sicurezza, riducendo la latenza, migliorando la reattività in tempo reale e potendo operare offline (ovvero senza richiedere una connessione internet costante). Questa ricerca si concentra sul compito dell'analisi dello streaming video, che comporta l'esame di una sequenza di fotogrammi (cioè un video) in modo continuo per identificare modelli interessanti. Tuttavia, a causa di vincoli tecnologici, l'esecuzione dei modelli di ML per l'analisi dello streaming video su dispositivi viene attualmente limitata a un'ispezione fotogramma per fotogramma. Questo limite ostacola l'accuratezza e la robustezza degli algoritmi di ML poiché l'evoluzione della scena di solito non viene considerata nel processo di inferenza. Al contrario, l'utilizzo di una sequenza di fotogrammi può migliorare significativamente l'accuratezza e la robustezza dell'algoritmo di ML per l'analisi dello streaming video. Per affrontare questa sfida, questa tesi propone una nuova architettura di rete neurale appositamente progettata per le applicazioni TinyML, concentrata sul supporto all'analisi di video in streaming a più fotogrammi su dispositivi con risorse limitate. Lo sviluppo della soluzione proposta tiene conto di vari vincoli imposti dall'hardware, come la disponibilità limitata di memoria, nonché dei requisiti stabiliti dall'applicazione stessa, inclusa la necessità di inferenza in tempo reale nelle attività di analisi dello streaming video. I risultati sperimentali su dataset disponibili pubblicamente mostrano l'efficacia e l'efficienza della soluzione proposta. Inoltre, le soluzioni proposte sono state portate e testate su due dispositivi commerciali caratterizzati da diversi vincoli tecnologici, dimostrando la fattibilità della soluzione proposta.