Effective and adaptive tiny machine learning

In the last few years, Tiny Machine Learning (TinyML) has emerged as the branch of Machine Learning research that studies the execution of Machine and Deep Learning (MDL) models on devices extremely constrained in terms of memory, computational power, and power consumption, such as embedded and Internet-of-things devices. TinyML was deemed interesting both by academic and industrial communities because it enables the continuous execution of Machine Learning tasks on battery-operated devices for long amounts of time, opening up a wide variety of previously impossible use cases. Despite the promising results obtained so far, TinyML solutions are still limited in two main ways: i) they can not work effectively with complex types of data, such as radar and multi-frame video data, and ii) they are not meant to execute the learning phase of MDL algorithms on-device, assuming that this phase will be carried out on more powerful computers before the deployment. This thesis aims to introduce a methodology, named TinyWorks, as well as solutions implementing it to overcome the current limitations of the TinyML environment, with the objective of enabling a variety of new tasks and use cases on resource-constrained devices. Achieving this goal required re-designing the way in which TinyML solutions are organized and executed, giving high importance not only to the MDL algorithms but also to all the other components in the solutions that enable their on-device inference and learning. TinyWorks operates at two distinct levels. First, it addresses the design of inference-based Effective TinyML solutions for complex types of data. The application of TinyWorks has led to the first TinyML solutions working on Ultrawide-band Radar data and has enabled the effective analysis of multi-frame video data at a TinyML level. The feasibility of the proposed approach is demonstrated by porting the solutions directly on target Tiny devices. Second, the methodology has been used to design Adaptive TinyML solutions that are translated into real-world scenarios and use cases specific to the TinyML environment. Adaptive solutions are presented both for environments in which the distribution of the data-generating process changes just during deployment, named on-device single-change environments, and in environments in which it can change at any time during the operating life of the device, named non-stationary environments. Two novel adaptive TinyML solutions, designed using TinyWorks for these two environments, are presented. Their improved performance compared to the state-of-the-art in On-device Learning is demonstrated through extensive experimentation. Furthermore, a toolbox for the design and generation of effective and adaptive TinyML solutions following the methodology is presented, to enable the seamless adoption of the methodology by the TinyML community. Finally, the ethical implications of applying effective and adaptive solutions to safety-critical scenarios, such as healthcare ones, are studied in the thesis, along with TinyWorks solutions specifically designed to address the ethical concerns.

Negli ultimi anni, il Tiny Machine Learning (TinyML) e' emerso come il ramo della ricerca sul Machine Learning che studia l'esecuzione di modelli di Machine e Deep Learning (MDL) su dispositivi estremamente limitati in termini di memoria, potenza computazionale e consumo energetico, come dispositivi embedded e dell'Internet of Things. Il TinyML e' stato considerato interessante sia dalla comunita' accademica che da quella industriale perche' consente l'esecuzione continua di attivita' di Machine Learning su dispositivi alimentati a batteria per lunghi periodi di tempo, aprendo una vasta gamma di casi d'uso precedentemente impossibili. Nonostante i risultati promettenti ottenuti finora, le soluzioni TinyML sono ancora limitate da due fattori principali: i) non possono lavorare efficacemente con tipi di dati complessi, come i dati radar e video composti da piu' frame, e ii) non sono progettate per eseguire la fase di apprendimento degli algoritmi MDL sul dispositivo, presupponendo che questa fase venga eseguita su computer piu' potenti prima del deployment. Questa tesi ha l'obiettivo di introdurre una metodologia, e delle soluzioni che la implementano, per superare le attuali limitazioni dell'ambiente TinyML, con l'obiettivo di abilitare una varieta' di nuovi compiti e casi d'uso su dispositivi con risorse limitate. Raggiungere questo obiettivo ha richiesto di riprogettare il modo in cui le soluzioni TinyML sono organizzate ed eseguite, dando grande importanza non solo agli algoritmi MDL, ma anche a tutti gli altri componenti nelle soluzioni che consentono la loro inferenza e l'apprendimento sul dispositivo. La metodologia opera a due livelli distinti. In primo luogo, affronta la progettazione di soluzioni efficaci (o Effective) basate sull'inferenza per tipi di dati complessi. L'applicazione della metodologia ha portato alle prime soluzioni TinyML funzionanti su dati radar a banda ultralarga e ha permesso l'analisi efficace di dati video multi-frame a livello TinyML. La fattibilita' dell'approaccio proposto e' dimostrata facendo il porting direttamente sul device scelto. In secondo luogo, la metodologia e' stata utilizzata per progettare soluzioni di apprendimento adattivo sul dispositivo che vengono tradotte in scenari e casi d'uso reali specifici per l'ambiente TinyML. Le soluzioni adattive (o Adaptive) vengono presentate sia per ambienti in cui la distribuzione del processo generatore di dati cambia solo durante il deployment, chiamati ambienti a singolo cambiamento sul dispositivo, sia in ambienti in cui puo' cambiare in qualsiasi momento durante la vita operativa del dispositivo, chiamati ambienti non stazionari. Inoltre, le implicazioni etiche dell'applicazione di soluzioni efficaci e adattive a scenari critici per la sicurezza, come quelli sanitari, sono studiate nella tesi. Tre nuove soluzioni TinyML adattative, progettate usando TinyWorks per questi scenari, sono presentate nella tesi. Le loro performance si sono dimostrate migliori rispetto allo stato dell'arte in numerosi esperimenti. Infine, viene presentato un toolbox per la progettazione e generazione di soluzioni TinyML efficaci e adattive seguendo la metodologia, per consentire l'adozione della metodologia da parte della comunita' TinyML.