Vehicular augmented reality system for ADAS applications

This research presents the design and validation of a vehicular Head-Mounted Augmented Reality system for applications on advanced driver assistance systems (ADAS). Augmented Reality (AR) is an interactive experience where real objects are "augmented" through computer-generated virtual graphics and head-mounted displays (HMD). Nowadays, AR is used only in small and static environments, like rooms or laboratories, where standard Simultaneous Localization and Mapping Algorithms (SLAM) are precise and robust. These algorithms do not work properly in wide and moving environments, like vehicles travelling on the road. Currently, ADAS help drivers avoid collisions, warning them of potential hazards through misleading abstract symbols on the vehicle dashboard or distracting alert sounds, still without giving any information about the position/location of the danger. With the integration of AR, ADAS could show warnings directly overlaid on the real dangers, reducing reaction time, distraction and uncertainty in understanding the type of hazard. AR can considerably improve the driving experience by increasing the driver situational awareness. Since AR devices employ see-through Head Mounted Displays, high-accuracy head tracking is essential to give the driver a good sense of immersion. The proposed solution, tested in different scenarios and on different vehicles (both with open and closed cockpit), is based on tracking of passive markers, stereoscopic detection of the road, IMU compensation with sensor fusion algorithm, GPS localisation and deep learning approaches on depth sensors measures.

Questo dottorato di ricerca presenta lo sviluppo e la validazione di un sistema per veicoli, basato su occhiali per realtà aumentata e applicato a sistemi avanzati di assistenza alla guida (conosciuti come ADAS). La realtà aumentata (AR) è un’esperienza interattiva dove gli oggetti reali sono “aumentati” attraverso l’integrazione di oggetti virtuali, visualizzati mediante head-mounted displays (HMD). Attualmente, la realtà aumentata è utilizzata solo in ambienti piccoli e statici, come uffici o laboratori, dove gli algoritmi standard di localizzazione e mapping (conosciuti come algoritmi SLAM) sono precisi e robusti al variare delle condizioni presenti. Questi algoritmi però non funzionano correttamente in ambienti vasti e/o in movimento, come ad esempio a bordo di un veicolo. Ad oggi, i sistemi avanzati di assistenza alla guida (ADAS) aiutano i conducenti ad evitare collisioni, avvertendoli di potenziali pericoli, utilizzando però simboli astratti, distraenti e a volte fuorvianti, mostrati sulla dashboard del veicolo, spesso accompagnati da suoni d’avviso deconcentranti. Inoltre, non viene mostrata alcuna informazione riguardo l’effettiva posizione/localizzazione del pericolo nel mondo esterno. Con l’integrazione della realtà aumentata, gli ADAS possono mostrare degli avvertimenti direttamente sovrapposti al pericolo reale nel mondo esterno, riducendo così distrazioni, incertezze nel comprendere il tipo di pericolo e tempi di reazione da parte del pilota. La realtà aumentata può quindi migliorare considerevolmente l’esperienza di guida, aumentando l’attenzione e la consapevolezza del conducente riguardo l’ambiente circostante. Dato che gli HMD mostrano la realtà aumentata attraverso le loro lenti trasparenti, è essenziale stimare accuratamente la posa della testa per mostrare al driver informazioni in realtà aumentata con alto realismo. A tale scopo, la soluzione sviluppata e proposta in questo progetto di dottorato è stata testata in vari scenari e su veicoli differenti (con abitacolo chiuso e aperto). Questa soluzione è basata sul riconoscimento di marker passivi, unito al riconoscimento del piano stradale per mezzo di telecamera stereoscopica, compensazione tramite IMU e algoritmi di sensors-fusion, localizzazione GPS e algoritmi di deep-learning applicati alle misure ottenute dai sensori di profondità.