Acoustic identification of wood-boring insects with TinyML

As the climate warms, wood-boring insects proliferate and expand into new habitats, threatening forest ecosystems worldwide. This thesis tackles the challenge of infestation prevention through an innovative and efficient method of on-device acoustic monitoring using the principles of TinyML. Two key solutions are proposed to work around the constraints of memory, computation, and power consumption on embedded devices. The primary solution introduces MAINet (Multi-task Audio Insect Net) a multi-task convolutional neural network utilizing 1D convolutions and quantization mechanisms to process raw audio data, identify and categorize insect species. The secondary approach proposes a cascade architecture comprising preprocessing, detection, and classification stages. The detection stage serves as a filter, activating the computationally demanding stages only when necessary. The classification stage then leverages TinyInsectNet, an optimized convolutional neural network to classify insects based on spectrograms extracted from audio data. Both solutions aim to establish an efficient, feasible, and low-power system for pervasive deployment in forest ecosystems to monitor and mitigate the effects of insect infestation. The proposed solutions were ported on an extremely constrained embedded device. Experimental results on a carefully generated synthetic dataset and partly on a real collected dataset show the effectiveness of the proposed solutions.

Con il riscaldamento climatico, gli insetti parassiti del legno proliferano e si espandono in nuovi habitat, minacciando gli ecosistemi forestali di tutto il mondo. Questa tesi affronta la sfida della prevenzione delle infestazioni attraverso un metodo innovativo ed efficiente di monitoraggio acustico direttamente on-device, utilizzando i principi di TinyML. Vengono proposte due soluzioni chiave per aggirare i vincoli di memoria, computazione e consumo energetico dei dispositivi embedded. La soluzione principale introduce MAINet (Multi-task Audio Insect Net), una rete neurale convoluzionale multi-task che utilizza convoluzioni 1D e meccanismi di quantizzazione per elaborare dati audio grezzi, identificare e classificare le specie di insetti. L'approccio secondario propone un'architettura a cascata che comprende fasi di preprocessing, rilevamento e classificazione. Lo stadio di rilevamento funge da filtro, attivando gli stadi più onerosi dal punto di vista computazionale solo quando necessario. La fase di classificazione sfrutta TinyInsectNet, una rete neurale convoluzionale ottimizzata per classificare gli insetti sulla base degli spettrogrammi estratti dai dati audio. Entrambe le soluzioni mirano a creare un sistema efficiente, fattibile e a basso consumo per realizzare un deployment pervasivo negli ecosistemi forestali in modo da monitorare e mitigare le infestazioni. Le soluzioni proposte sono state portate su un dispositivo embedded con forti vincoli di memoria. I risultati sperimentali su un set di dati sintetici accuratamente generati e, in parte, su un set di dati reali raccolti mostrano l'efficacia delle soluzioni proposte.