Low-power ocular sensing for smart eyewear: from optical simulation to real-time prototype

This thesis presents the conception, implementation, and validation of a novel framework for wearable Eye Tracking and blink detection tailored for smart glasses. The work builds upon the On-Edge approach, which leverages standard Infrared (IR) Photodiodes (PDs) embedded along the lens edges to exploit theWaveguiding effects of the Lens itself for collecting light reflected from the eye without compromising aesthetics. This configuration has been initially explored through optical simulations and subsequently validated through a sequence of hardware prototypes, evolving from controlled half-frame setups to fully integrated full-frame glasses. Dedicated electronics have been designed, including custom Printed Circuit Boards (PCBs) hosting Light Emitting Diodes (LEDs) driving circuits, low-power analog frontends, and low-power Microcontroller Units (MCU). Multiple algorithmic strategies have been investigated for gaze estimation, from regression models to classification pipelines optimized for embedded devices. Real-time experiments demonstrated that the system can accurately classify gaze across predefined regions of interest, achieving robust performance on both robotic eye models and human subjects. In addition to gaze tracking, this thesis introduces CUPIDO, an ultra-low-power, contactless blink detection module based on electrostatic induction. CUPIDO operates in the sub-milliwatt range and provides event-driven signals that can either reduce the power consumption of the eye tracker during blinks or serve as a trigger for external digital systems. The combination of gaze and blink sensing illustrates the potential of multimodal integration for next-generation wearable devices. The results highlight the feasibility of the On-Edge approach as a practical and energy-efficient alternative to conventional Oculography (OG). At the same time, CUPIDO extends the interaction space through unobtrusive blink-based control. Together, these contributions pave the way for smart glasses that seamlessly combine low-power operation, unobtrusive sensing, and real-time processing, with applications ranging from healthcare and assistive technology to augmented reality and Human-Machine Interface (HMI).

Questa tesi presenta la concezione, l’implementazione e la validazione di un nuovo framework per il wearable Eye Tracking e la rilevazione del battito di palpebra, specificamente progettato per smart glasses. Il lavoro si basa sull’approccio On-Edge, che sfrutta fotodiodi a infrarossi (IR) standard integrati lungo i bordi della lente per utilizzare gli effetti di waveguiding della lente stessa, consentendo la raccolta della luce riflessa dall’occhio senza compromettere l’estetica del dispositivo. Questa configurazione è stata inizialmente studiata tramite simulazioni ottiche e successivamente validata attraverso una sequenza di prototipi hardware, evolvendo da configurazioni controllate a mezza montatura fino a occhiali completamente integrati a montatura intera. Sono state progettate elettroniche dedicate, inclusi circuiti stampati personalizzati (PCB) che integrano circuiti di pilotaggio per Light Emitting Diodes (LED), front-end analogici a basso consumo e Microcontroller Units (MCU) a basso consumo. Sono state investigate diverse strategie algoritmiche per la stima dello sguardo, che spaziano da modelli di regressione a pipeline di classificazione ottimizzate per dispositivi embedded. Esperimenti in tempo reale hanno dimostrato che il sistema è in grado di classificare accuratamente la direzione dello sguardo su regioni di interesse predefinite, ottenendo prestazioni robuste sia su modelli di occhio robotico sia su soggetti umani. Oltre al tracciamento dello sguardo, questa tesi introduce CUPIDO, un modulo di rilevazione del battito di palpebra ultra-low-power e contactless basato sull’induzione elettrostatica. CUPIDO opera nel regime dei sub-milliwatt e fornisce segnali event-driven che possono essere utilizzati sia per ridurre il consumo energetico dell’eye tracker durante i battiti di palpebra, sia come trigger per sistemi digitali esterni. La combinazione delle misure di sguardo e battito di palpebra evidenzia il potenziale dell’integrazione multimodale per dispositivi indossabili di nuova generazione. I risultati ottenuti dimostrano la fattibilità dell’approccio On-Edge come alternativa pratica ed energeticamente efficiente alle tecniche convenzionali di oculografia (OG). Allo stesso tempo, CUPIDO amplia lo spazio di interazione attraverso un controllo basato sul battito di palpebra, discreto e non invasivo. Nel loro insieme, questi contributi aprono la strada allo sviluppo di smart glasses capaci di combinare in modo armonico basso consumo energetico, sensing non intrusivo ed elaborazione in tempo reale, con applicazioni che spaziano dall’ambito sanitario e assistivo fino alla realtà aumentata e alle interfacce uomo-macchina (HMI).