Joint communication and sensing for eye tracking and gesture recognition with FMCW radar in smart glasses

The recent increasing development of smart glasses’ technology exploit the need of new type of solutions for eye tracking and gesture recognition. This work examines the possible use of the frequency modulated continuous wave (FMCW) radar at mmWave frequency. The aim is to evaluate the suitability, benefits, and limitations of this radar technology for smart glasses with respect to the other existing technology. This new type of technology open new doors for augmented reality (AR) in wearable device for human-computer interaction. The sensing technology is combined with the transmission of data to an external device without other hardware implementation. In this way there is an improvement in managing the resources. An analysis of the state of the art is first presented in the work, from the point of view of eye tracking and eye safety, gesture recognition, and joint communication and sensing (JCAS) through FMCW radar in the end. After the computational model of the radar’s implementation, the validation through practical experiments is examined. The procedure starts with the collection of data with Infineon BGT60TR13C radar operating at 60 GHz. The first part is the investigation of algorithm for the recognition of different eye movements and eye blinking. Then, there is the verification of the recognition of gesture from eye movement. We show that the recognition of different type of gesture is also possible with this technology. In the end the communication link is successfully established for the transmission of data in JCAS solution. This work shows successful results in this development area. It opens to new type of secure technology, solving the problem of privacy and lack of visibility in the dark caused by camera based system in eye tracking and gesture recognition.

Negli ultimi anni lo sviluppo di nuove tecnologie nell’ambito dei dipositivi indossabili è sempre più in crescita, in particolare il settore degli occhiali intelligenti. Questi dispos itivi si servono di sistemi per il tracciamento oculare e il riconoscimento dei gesti. In particolare, questo lavoro esamina la possibilità di utilizzo del radar a onda continua modulata in frequenza (FMCW) alla frequenza millimetrica. La ricerca condotta mira a valutare l’idoneità, i benefici e i limiti dei radar per gli occhiali intelligenti rispetto ad altri strumenti esistenti. Questo nuovo tipo di tecnologia apre nuove frontiere per la realtà aumentata (AR) nei dispositivi indossabili per l’interazione uomo-macchina. Grazie alle nuove tecnologie di comunicazione e rilevamento congiunti (JCAS), c’è anche la possibilità di rilevare parametri fisiologici per poi trasmetterli a un dispositivo esterno, senza bisogno di altra infrastruttura hardware. In questo modo si ottimizza la gestione delle risorse. In questo lavoro viene presentata una prima analisi dello stato dell’arte, che va dal traccia mento oculare e sicurezza degli occhi al riconoscimento dei gesti, seguita dall’analisi della comunicazione congiunta e del rilevamento. Dopo il modello computazionale simulativo viene esaminata la validazione attraverso esperimenti pratici. La procedura inizia con la raccolta dei dati con il radar Infineon BGT60TR13C che lavora a 60 GHz. La prima parte consiste nell’indagine sugli algoritmi per il riconoscimento di diversi movi menti oculari e battiti di ciglia. Successivamente, vi è la verifica del riconoscimento di diversi tipi di gesti dai movimenti oculari. Alla fine del lavoro viene presentata la parte di comunicazione dove viene instaurata con successo la trasmissione dei dati nella tecnologia JCAS. Questo lavoro di tesi mostra risultati positivi in quest’area di sviluppo. Apre a un nuovo tipo di tecnologia sicura, risolvendo il problema della privacy e della mancanza di vis ibilità al buio causati dai sistemi basati su telecamere nel tracciamento oculare e nel riconoscimento dei gesti.