Development of an image registration approach for in-cockpit augmented reality applications through road snapping

Augmented reality (AR) is becoming increasingly popular in recent years, thanks to the development of increasingly sophisticated and accurate systems that enables good integration between the real world and virtual holograms. In most of the cases, augmented reality headsets are designed for static use, where the surrounding environment is confined and holograms are manually positioned by the user. The purpose of this thesis is to provide a solution for the placement of holograms when the head-set is used by a user driving a car, where the main obstacles are given by the rapidly evolving environment and by the automatic alignment of virtual objects on surfaces, such as the road, that must be as accurate as possible, to avoid cases in which the hologram assumes physically impossible positions in the real world. The main solution involves the identification of the road and its representation in three dimensions through a neural network and a stereo camera, from which follows 3D point fitting techniques to derive a mathematical model of the road, in order to provide precise coordinates for hologram positioning.

La realtà aumentata (AR) è uno dei settori in cui, negli ultimi anni, sempre più aziende decidono di investire e fare ricerca, anche grazie allo sviluppo di tecniche e algoritmi sempre migliori, che permettono di integrare elementi virtuali nel mondo reale nel modo più naturale possibile. Nella maggior parte delle applicazioni sviluppate fino a oggi i caschi per la realtà aumentata sono pensati per un uso statico, in cui l’utente si trova in un ambiente ristretto, quale l’ufficio o la casa, e in cui il posizionamento degli ologrammi è eseguito manualmente da chi indossa il casco. L’obiettivo di questa tesi è fornire una soluzione per il corretto posizionamento di ologrammi sulla strada quando il casco è indossato da un utente alla guida di un veicolo. In questo caso i principali ostacoli sono dati dall’ambiente, che cambia molto rapidamente, e dalla necessità di posizionare il più accuratamente possibile gli elementi virtuali sulla strada, in modo da evitare casi in cui l’ologramma assuma posizioni innaturali e fisicamente impossibili. La soluzione principale riguarda l’identificazione della strada e la sua rappresentazione in tre dimensioni, sfruttando contemporaneamente una rete neurale e una stereo camera. A questo seguono tecniche di fitting di punti in 3D per ricavare un modello matematico della strada, che fornisca coordinate precise qualora vi sia la necessità di posizionare un ologramma sulla strada.