Development of localization methods of Head-Mounted Displays in a moving vehicle

This thesis is part of a project to develop a Head-Mounted Display (HMD), aimed at developing augmented reality applications to be used in a moving vehicle. The visor, wearable by the driver, should display all the information needed for driving, so that it appears in specific locations, both inside and outside the vehicle. To visualize the projected elements as if the holograms are actual objects placed in the environment, it is necessary to know precisely the position and orientation of the HMD. Being in a moving vehicle brings specific challenges in solving this problem. This thesis focused on the development of localization methods for HMD. Starting from the state of the art of localization using stereo cameras through the use of fiducial markers, a localization update system using IMU was developed, in order to increase the frequency of position estimation. A second method was developed to replace localization using markers, which was too noisy and initially designed for the prototyping phase only. The Point Cloud generation capability of the stereo cameras used was then exploited, to extract the camera location by aligning individual Point Clouds with a reference map. Both approaches were tested and validated on real data collected in-vehicle.

Questa tesi rientra nell'ambito del progetto di sviluppo di un Head-Mounted Display (HMD), con lo scopo di creare applicazioni di realtà aumentata da utilizzare a bordo di un veicolo in movimento. Il visore, indossabile dal pilota, dovrebbe visualizzare tutte le informazioni necessarie per la guida, in modo che appaiano in posizioni specifiche, sia all'interno che all'esterno del veicolo. Per visualizzare gli elementi proiettati come se gli ologrammi fossero oggetti reali collocati nell'ambiente circostante, è necessario conoscere precisamente la posizione e l'orientamento dell'HMD. Il fatto di essere a bordo di un veicolo in movimento pone sfide specifiche per la risoluzione del problema. Questa tesi si è quindi concentrata sullo sviluppo di metodi di localizzazione dell'HMD. A partire dallo stato dell'arte della localizzazione tramite stereo camere, attraverso l'uso di marker, si è sviluppato un sistema di aggiornamento della localizzazione tramite IMU per aumentare la frequenza di aggiornamento della posizione. Un secondo metodo è stato sviluppato con l'obiettivo di sostituire la localizzazione tramite marker, eccessivamente rumorosa e inizialmente pensata per la sola fase di prototipazione. Si è quindi sfruttata la capacità di generazione di Point Cloud delle stereo camere utilizzate, con l'obiettivo di estrarre la localizzazione della camera allineando le singole Point Cloud con una mappa di riferimento. Entrambi gli approcci sono stati testati e validati su dati reali raccolti a bordo veicolo.