Design of a head-mounted display for augmented reality in driving applications

Head-mounted Display (HMD) is a display device, worn on the head by the user, with a small optical display positioned in front of one eye or, in most cases, both eyes. They are one of the main tools of Augmented Reality (AR), the interactive experience that alters the perception of the surrounding environment, where real physical objects are "enhanced" through the integration of computer-generated information. The state of the art of HMD is the best hardware solution to cover the entire wearer’s field of view. In this way, a continuity of visualization is guaranteed for any virtual element falling within the user’s gaze. To date, Augmented Reality solutions developed for wearable projection devices are proposed for the use in a static environment, such as a room or a workstation. These situations are the ideal circumstances for the application of localization algorithms, typically implemented in projection techniques. In literature, there are not solutions meant for the application in a constantly moving environment, specifically the road, seen by the driver in front of the vehicle while driving. The aim of this thesis project is to develop a system for projecting elements of Augmented Reality in this use-case, so as to reproject intuitive information as a natural part of the environment, corresponding to their real three-dimensional position in the world. For example, the warning symbol about a possible danger could be projected in correspondence of the exact risk area, overlaid on the user’s visible reality. To this end, we have implemented the algorithm to correctly reproject information on HMD. It is necessary to estimate their position and orientation with respect to a known reference system, as they perform a fixed movements with respect to driver’s head. We have analysed and developed a method for estimating them, based on the detection of trustworthy features placed inside the cockpit. This is done through the study of images captured by a stereo camera, emulating the one typically integrated in HMDs. All these methods make up the proposed solution, which allows us to reproject features on HMD, so that they correspond to a precise point in the real world.

L’Head-mounted Display (HMD) è un dispositivo di visualizzazione, indossato dall'utente, dotato di un piccolo display ottico posizionato davanti ad un occhio o, nella maggior parte dei casi, ad entrambi gli occhi. Lo stato dell’arte dell’ HMD costituisce il principale strumento di Realtà Aumentata (AR) in grado di coprire interamente il campo visivo di chi li indossa. La Realtà Aumentata è un’esperienza interattiva che altera la percezione dell’ambiente circostante, dove oggetti fisici reali sono "aumentati" attraverso l’integrazione di grafiche generate dal computer. Ad oggi, soluzioni di questa tecnologia per dispositivi di proiezione indossabili sono proposte per l’utilizzo in ambiente statico, come ad esempio una stanza oppure una postazione di lavoro. Queste situazioni rappresentano le circostanze ideali per l’applicazione di algoritmi di localizzazione, implementati nelle tecniche di proiezione. Non esistono progetti che ne prevedano l’utilizzo in un ambiente in continuo movimento, nello specifico quello stradale, visto dal guidatore davanti al veicolo durante la guida. Lo scopo di questo progetto di tesi è di sviluppare un sistema di proiezione di elementi di Realtà Aumentata in questo caso d’uso, in modo da proiettare informazioni intuitive come parte naturale dell’ambiente, in corrispondenza della loro reale posizione tridimensionale nel mondo. Per esempio, un simbolo di pericolo potrebbe essere proiettato sovrapposto all'esatta area rischiosa visibile dal guidatore, anzichè come simbolo astratto sul cruscotto interno. A tal fine, abbiamo implementato l’algoritmica per riproiettare correttamente queste informazioni su HMD. E’ necessario stimare la loro posizione ed orientamento rispetto ad un sistema di riferimento noto, dato che compiono movimenti solidali alla testa del guidatore. Abbiamo analizzato e sviluppato un metodo per stimarli, basato sulla rilevazione di feature fiduciarie disposte all'interno dell’abitacolo. Questo viene effettuato attraverso lo studio di immagini catturate da una telecamera stereo, emulando quella tipicamente integrata negli HMD. Tutti questi metodi compongono la soluzione proposta, che permette di riproiettare feature su HMD in modo che queste corrispondano ad un preciso punto nel mondo reale.