Neural Architecture Search for Tiny Incremental On-Device Learning

Incremental on-device learning is a promising research field in TinyML which consists in the ability of models to adapt to new data without constant reliance on cloud connectivity. TyBox is a toolbox for the automatic design and code-generation of incremental on-device TinyML models that addresses this challenge effectively. In parallel, Neural Architecture Search is a powerful AutoML approach which aims to automate the design of a neural architecture optimized on its accuracy and computational requirements for a given task and dataset. Constrained NAS expands on the concept of Neural Architecture Search, incorporating TinyML-inspired constraints to strike a balance between performance and resource efficiency. However, it primarily targets mobile devices with greater computational resources, making it unsuitable for MCUs. The aim of this work is to design a methodology to integrate Neural Architecture Search with tiny incremental on-device learning. At the time of delivery, this is the first time NAS has been considered for incremental on-device learning. The approach involves compressing CNAS-designed networks with structured filter pruning and extending TyBox with full-integer quantization to create tiny incremental models that conforms with the restrictions of tiny devices. Performance tests on multi-image classification tasks demonstrate the effectiveness of the proposed methodology, showcasing the competitiveness of the compressed incremental models compared to the original static CNAS models and alternative incremental toolboxes.

L'apprendimento incrementale on-device è un promettente campo di ricerca in TinyML. Consiste nella capacità dei modelli di adattarsi a nuovi dati senza dipendere costantemente dalla connettività cloud. TyBox è un toolbox per la progettazione automatica e la generazione di codice di modelli TinyML incrementali on-device che affronta efficacemente questa sfida. Parallelamente, Neural Architecture Search è un potente approccio AutoML che mira a automatizzare la progettazione di un'architettura neurale, col fine di ottimizzarla in accuratezza, rispettando allo stesso tempo i requisiti computazionali per un determinato compito e dataset. Constrained NAS amplia il concetto di Neural Architecture Search, incorporando vincoli ispirati a TinyML per trovare un equilibrio tra prestazioni ed efficienza delle risorse. Tuttavia, si rivolge principalmente a dispositivi mobili con maggiori risorse computazionali, rendendolo inadatto per MCU. L'obiettivo di questo lavoro è progettare una metodologia per integrare Neural Architecture Search con l'apprendimento incrementale on-device. Al momento della consegna, questa è la prima volta che NAS viene considerata per l'apprendimento incrementale on-device. L'approccio prevede la compressione delle reti progettate da CNAS mediante il pruning dei filtri convoluzionali e l'estensione di TyBox con la quantizzazione a numeri interi, allo scopo di creare modelli incrementali che rispettino le restrizioni dei dispositivi di piccole dimensioni. Le prestazioni su classificazione multi-immagine dimostrano l'efficacia della metodologia proposta, mettendo in mostra la competitività dei modelli incrementali compressi rispetto rispetto al modello CNAS originale e a toolbox incrementali alternativi.