Robust real-time HMD pose estimation for in-vehicle applications: an ICP-based approach

The focus of this thesis is the development of a vision-based localization system for head-mounted displays (HMDs) designed to be used in a moving vehicle. This work is part of a project that aims to create a driver wearable visor that displays Augmented Reality (AR) components immersed in the real world, with the purpose of improving the user driving experience and safety. For effective implementation, precise positional tracking of the HMD is crucial, ensuring that virtual elements seamlessly integrate with the scene. Localization in non-inertial environments brings a set of problems that are often dealt with relying both on Inertial Measurement Unit (IMU) data and fixed markers. Overcoming the limitations of existing marker-based systems, this thesis investigates a novel visual localization algorithm. The proposed solution is based on a custom implementation of the Iterative Closest Point (ICP) algorithm, which aligns a real-time captured point cloud with a pre-existing point cloud, producing a pose estimation of the user's head, without the support of markers inside the cockpit. The ICP method key challenge of re-establishing tracking once lost is addressed through an innovative fallback mechanism. This mechanism combines the advantages of 2D and 3D data, ensuring robust and continuous tracking. The culmination of this thesis is the integration of the two presented tools into a complex algorithm that integrates high-frequency IMU readings with low-frequency poses estimates provided by ICP.

L'obiettivo di questa tesi è lo sviluppo di un sistema di localizzazione vision-based per head-mounted display (HMD), progettato per l'utilizzo all'interno di veicoli in movimento. Questa ricerca è parte di un progetto che ha lo scopo di creare un visore indossabile dal conducente che proietti elementi di realtà aumentata (AR) immersi nel mondo reale che migliorino l'esperienza alla guida dell'utente e la sua sicurezza. Il tracking accurato della posizione dell'HMD è cruciale affinchè gli oggetti virtuali si integrino perfettamente nella scena reale. La localizzazione in un sistema non inerziale comporta una serie di problematiche che sono in genere risolte tramite l'ausilio sia di unità di misura inerziali (IMU), sia di marker fissi. Questa tesi indaga un algoritmo di localizzazione visiva innovativo, che supera le limitazioni dei sistemi basati su marker. La soluzione proposta è basata su un'implementazione ad-hoc di Iterative Closest Point (ICP), che allinea una point cloud raccolta in real-time con una preesistente, producendo una stima della posa della testa dell'utente senza l'utilizzo di marker all'interno dell'abitacolo. ICP presenta alcune difficoltà nel recuperare il tracking una volta perso, per questo motivo è stato sviluppato un nuovo meccanismo di fallback. Questo sistema combina i vantaggi del 2D e del 3D, garantendo la robustezza e la continutà della localizzazione. Il risultato di questa tesi è l'integrazione dei due strumenti presentati in un algoritmo complesso che fonde le stime di localizzazione dell'IMU ad alta frequenza con le pose a bassa frequenza fornite da ICP.