Design and implementation of visual-inertial-based position tracking for in-vehicle head-mounted display

This study explores the field of augmented reality (AR), a technology that improves our perception and interaction with the environment by fusing digital and physical aspects. Despite being used in a variety of industries, including gaming, retail, education, and design, augmented reality is primarily limited to static, indoor environments. Our research focuses on a in-vehicle augmented reality application, that uses a driver’s Head-Mounted Display (HMD) to enable real-time interaction with virtual elements while driving. Precisely depicting virtual objects requires an accurate estimation of the HMD’s orientation and position within the vehicle. The purpose of this research is to design and implement an algorithm capable of tracking head movements within a vehicle cabin accurately and with the least delay possible, combining the signals coming from inertial measurement units (IMUs) and a camera. Starting from the state-of-the-art algorithm, which uses a fiducial marker for pose estimation of the AR glasses, a complementary filter technique to track HMD position was designed and implemented. This filter leverages both inertial data coming from the IMU and visual information, coming from the camera. Subsequently, adaptive filtering methods were introduced to reduce velocity and position drift associated with the inertial measurements. Finally, a model was developed to approximate head movements within the vehicle cabin. This model was then integrated with previous components for pose estimation, through the complementary filter. Each method introduced was rigorously validated through ad-hoc tests to ensure robustness and reliability under dynamic conditions.

Questa ricerca si occupa del tema della realtà aumentata (AR), una tecnologia che migliora la percezione e l’interazione con l’ambiente circostante fondendo aspetti virtuali e fisici. Nonostante sia utilizzata in diversi settori, tra cui i giochi, la vendita al dettaglio, l’istruzione e il design, la realtà aumentata è principalmente limitata ad ambienti statici ed interni. La nostra ricerca si concentra su un’applicazione della realtà aumentata all’interno di un veicolo, che sfrutta un head-mounted display (HMD) per consentire l’interazione con elementi virtuali durante la guida. La precisa rappresentazione degli oggetti virtuali richiede una stima accurata dell’orientamento e della posizione dell’HMD all’interno del veicolo. Lo scopo di questa ricerca è quello di progettare ed implementare un algoritmo in grado di tracciare i movimenti della testa all’interno di un abitacolo, sfruttando i segnali provenienti da delle unità di misura inerziale (IMU), e una telecamera. A partire dalla soluzione attualmente utilizzata che sfrutta un marker per la stima della posa degli occhiali a realtà aumentata, è stata progettata e implementata una tecnica di filtro complementare per tracciare la posizione dell’HMD. Questo filtro sfrutta sia i dati inerziali provenienti dalle IMUs, sia le informazioni visive provenienti dalla telecamera. Successivamente sono stati introdotti dei metodi di filtraggio adattivo per ridurre la deriva della stima di velocità e posizione generata dalle misure inerziali. Infine, è stato sviluppato un modello per approssimare i movimenti della testa all’interno del veicolo. Questo modello è stato poi integrato con la stima di posa data dai componenti precedenti, attraverso il filtro complementare. Ogni metodo introdotto è stato rigorosamente convalidato attraverso test ad-hoc per garantire la robustezza e l’affidabilità in diverse condizioni di funzionamento.