An end-to-end deep learning architecture for glint-free gaze tracking

Accurate 3D gaze estimation is a fundamental enabler for interaction and rendering optimization in Extended Reality (XR) and Human-Computer In- teraction (HCI). However, traditional near-eye tracking systems heavily rely on active infrared illumination to generate corneal reflections (glints). This depen- dency imposes severe constraints on wearable devices, including elevated power consumption, thermal output, and catastrophic failure in outdoor environments due to ambient sunlight. Consequently, the industry is shifting toward glint-free gaze estimation, which remains a highly challenging problem due to severe visual noise, unpredictable occlusions, and non-linear corneal refraction. This thesis systematically investigates and bridges the gap between traditional ge- ometric algorithms and modern appearance-based deep learning for glint-free 3D gaze estimation in unconstrained environments. In the first phase, a state-of-the- art algorithmic baseline is evaluated. Results demonstrate that while traditional computer vision can achieve high 2D feature extraction accuracy under ideal con- ditions, uncalibrated mathematical 3D unprojection is profoundly fragile. When confronted with realistic hardware slippage and physiological occlusions, these ge- ometric models fail catastrophically, yielding unusable angular errors. To overcome these limitations, this research proposes a highly modular, appearance-based deep learning architecture. Transitioning from highly controlled datasets (OpenEDS) to massive, in-the-wild recordings (TEyeD), a novel Asyn- chronous Sequential Prediction network is developed. By forcing the network to explicitly resolve 2D anatomical geometry (pupil boundaries) early in the forward pass, the architecture uses this spatial grounding to regularize the complex regres- sion of the 3D gaze vector. Furthermore, the integration of a dynamically predicted visibility mask effectively mutes gradients during blinks and severe occlusions, pre- venting the network from learning from visual noise. The proposed architecture achieves state-of-the-art performance, delivering a mean gaze angular error of 1.53° on unseen subjects, effectively halving the original pub- lished benchmark of the TEyeD dataset (2.97°). Finally, to prove the viability of this glint-free pipeline on resource-constrained wearable hardware, an ablation study utilizing mobile-optimized backbones is conducted. By scaling down the network capacity using MobileNetV1, the system achieves real-time CPU through- put exceeding 100 FPS while maintaining an error of 2.61°. Ultimately, this work demonstrates that appearance-based deep learning architectures can overcome the fragility of classical geometric models, enabling robust, high-precision wearable gaze tracking in chaotic, real-world environments.

Una stima accurata dello sguardo in 3D è un elemento fondamentale per l’interazione e l’ottimizzazione del rendering nella realtà estesa (XR) e nell’interazione uomo-computer (HCI). Tuttavia, i tradizionali sistemi di tracciamento near-eye si basano in larga misura sull’illuminazione a infrarossi attiva per generare riflessi corneali (glint). Questa dipendenza impone gravi limitazioni ai dispositivi indossabili, tra cui un elevato consumo energetico, emissione termica e guasti catastrofici in ambienti esterni a causa della luce solare ambientale. Di conseguenza, il settore si sta orientando verso la stima dello sguardo senza riflessi, che rimane un problema estremamente complesso a causa del forte rumore visivo, delle occlusioni imprevedibili e della rifrazione corneale non lineare. La presente tesi analizza in modo sistematico, colmando il divario tra gli algoritmi geometrici tradizionali e il moderno deep learning basato sull’immagine dell’occhio per la stima dello sguardo in 3D senza riflessi in ambienti non controllati. Nella prima fase viene valutata una baseline algoritmica allo "stato dell’arte". I risultati dimostrano che, mentre i sistemi classici di computer vision sono in grado di raggiungere un’elevata accuratezza nella stima delle caratteristiche 2D in condizioni ideali, la riproiezione matematica 3D non calibrata risulta estremamente fragile. Inoltre quando si trovano ad affrontare cambi di hardware e occlusioni fisiologiche, questi modelli geometrici falliscono in modo catastrofico, generando errori angolari che rendono i risultati inutilizzabili. Per superare questi limiti, questa ricerca propone un’architettura deep learning altamente modulare e basata sulla stima dello sguardo tramite l’immagine acquisita dalle camere interne. Passando da set di dati altamente controllati (OpenEDS) a registrazioni su larga scala in contesti reali (TEyeD), è stata sviluppata una nuova rete che predice gli elementi in modo asincrono. Costringendo la rete a risolvere esplicitamente la geometria anatomica bidimensionale (contorni della pupilla) nei primi strati della rete, l’architettura utilizza queste fondamenta per regolarizzare la complessa stima del vettore tridimensionale, rappresentante lo sguardo della persona. Inoltre, l’integrazione della stima sulla visibilità prevista della pupilla attenua efficacemente i gradienti durante i battiti di ciglia e le occlusioni più gravi, impedendo alla rete di apprendere dal rumore visivo. L’architettura proposta raggiunge prestazioni avanzate, con un errore angolare medio dello sguardo pari a 1,53° su soggetti non visti in precedenza, dimezzando di fatto il benchmark originale pubblicato per il dataset TEyeD (2,97°). Infine, per dimostrare la fattibilità di questa pipeline su tipologie hardware indossabili con risorse limitate, è stato condotto uno studio che utilizza backbone ottimizzate per dispositivi mobili. Ridimensionando la capacità della rete tramite MobileNetV1, il sistema raggiunge una velocità di elaborazione della CPU in tempo reale superiore a 100 FPS, mantenendo un errore di 2,61°. In definitiva, questo lavoro dimostra che le architetture di deep learning basate sull’aspetto possono superare la fragilità dei modelli geometrici classici, consentendo un tracciamento dello sguardo robusto ad alta precisione su dispositivi indossabili in ambienti caotici e reali.