Firmware architecture for a camera-based edge-AI smart eyewear

This thesis presents the design and implementation of a firmware architecture for a camera-based smart eyewear system capable of performing real-time inference on captured images. The developed prototype, named Argo, is built on the STM32N6 microcontroller, which integrates a Neural Processing Unit (NPU) optimized for accelerating Convolutional Neural Network (CNN) inference. The hardware platform combines a processing board, camera module, and battery pack, all integrated into a standard glasses frame. This work demonstrates that, by leveraging NPU accelerators, demanding artificial intelligence tasks can be executed locally and in real time on a lightweight, energy-efficient device, without reliance on cloud computing. The firmware architecture is organized around a state machine that manages system initialization, data acquisition, inference, and communication with a smartphone application. A complete image processing pipeline was developed, including acquisition, pre-processing, neural inference, and post-processing, achieving a throughput of 10 frames per second. Particular attention was devoted to the integration of debugging features, which were introduced to simplify system validation and troubleshooting.

Questa tesi presenta la progettazione e l’implementazione di una architettura firmware per un sistema di smart eyewear basato su fotocamera, capace di eseguire inferenze in tempo reale sulle immagini acquisite. Il prototipo sviluppato, denominato Argo, è basato sul microcontrollore STM32N6, che integra una Neural Processing Unit (NPU), ottimizzata per accelerare l’inferenza di Convolutional Neural Network (CNN). La piattaforma hardware comprende una processing board, un camera module e un battery pack, tutti integrati in una montatura di occhiali standard. Questo lavoro dimostra che, sfruttando acceleratori neurali, reti di intelligenza artificiale complesse possono essere eseguite localmente e in real time su un dispositivo leggero ed efficiente dal punto di visto energetico, senza dipendere dal cloud computing. L'architettura firmware è organizzata attorno a una macchina a stati che gestisce l’inizializzazione del sistema, l’acquisizione dei dati, l’inferenza e la comunicazione con un'applicazione smartphone. È stata sviluppata una image processing pipeline completa, comprendente acquisizione del frame, pre-processing, inferenza e post-processing, raggiungendo una velocità di 10 frame al secondo. Particolare attenzione è stata dedicata all’integrazione di funzionalità di debug, introdotte per semplificare la validazione e la risoluzione dei problemi del sistema.