This thesis aims to develop vision-based localization algorithms for Head-Mounted Displays (HMD) used in a moving vehicle for augmented reality application. This thesis is part of a larger project addressing the technological challenges posed by using the HMD in moving vehicle employing a combination of marker-based localization and inertial odometry through numerical integration of data collected from inertial measurement units. The main goal of this thesis is to investigate two approaches to overcome the limitation of marker-based localization. The first approach is based on the Iterative Closest Point (ICP) algorithm, which aligns point-clouds obtained in real-time through a stereo-camera with a map of the vehicle interior. In particular, work has been done to optimize the algorithm performance and the interior mapping procedure, leading to an improved real-time estimation of the camera pose. The second approach aims to eliminate the need for a stereo camera by proposing a new localization technique based on the Feature-to-Point method. This method estimates correspondences between the images captured by a monocular camera and a map of the vehicle interior to compute the camera pose. This method combines the advantages of the ICP-based algorithm, such as HMD tracking continuity and robustness, with the simplicity of hardware and sensors required for marker-based localization.

Questa tesi ha lo scopo di sviluppare algoritmi di localizzazione vision-based per Head-Mounted Display (HMD) utilizzati in un veicolo in movimento per applicazioni di realtà aumentata. Questi algoritmi trovano la loro applicazione nel contesto di un progetto più ampio, che affronta le sfide tecnologiche poste dall'utilizzo del HMD su un veicolo in movimento utilizzando una combinazione di localizzazione tramite marker fiduciari e odometria tramite integrazione numerica dei dati provenienti da unità di misura inerziali. Questa tesi indaga due approcci che permettano di superare le limitazioni imposte dalla localizzazione basata su marker. Il primo è un algoritmo basato su Iterative Closest Point (ICP), che allinea una point cloud ottenuta in tempo reale tramite una stereo-camera con una mappa dell'abitacolo raccolta a priori. In particolare, si è effettuato un lavoro di ottimizzazione delle performance di questo algoritmo e delle procedure di mappatura dell'abitacolo, ottenendo un miglioramento della stima della posa in real-time. Il secondo approccio mira a superare la necessità di utilizzare una stereo-camera, proponendo una nuova tecnica di localizzazione basata sul metodo Feature-to-Point, che stima delle corrispondenze tra le immagini acquisite tramite una mono-camera e una mappa dell'abitacolo per calcolare la posa della camera. Questo metodo unisce i vantaggi dell'algoritmo basato su ICP, come la continuità e la robustezza del tracking dell'HMD, con la semplicità dell'hardware e dei sensori richiesti per la localizzazione basata su marker fiduciari.

Sviluppo di metodi di localizzazione con videocamere per head-mounted display in un veicolo in movimento

OSTINELLI, DARIO
2022/2023

Abstract

This thesis aims to develop vision-based localization algorithms for Head-Mounted Displays (HMD) used in a moving vehicle for augmented reality application. This thesis is part of a larger project addressing the technological challenges posed by using the HMD in moving vehicle employing a combination of marker-based localization and inertial odometry through numerical integration of data collected from inertial measurement units. The main goal of this thesis is to investigate two approaches to overcome the limitation of marker-based localization. The first approach is based on the Iterative Closest Point (ICP) algorithm, which aligns point-clouds obtained in real-time through a stereo-camera with a map of the vehicle interior. In particular, work has been done to optimize the algorithm performance and the interior mapping procedure, leading to an improved real-time estimation of the camera pose. The second approach aims to eliminate the need for a stereo camera by proposing a new localization technique based on the Feature-to-Point method. This method estimates correspondences between the images captured by a monocular camera and a map of the vehicle interior to compute the camera pose. This method combines the advantages of the ICP-based algorithm, such as HMD tracking continuity and robustness, with the simplicity of hardware and sensors required for marker-based localization.
CENTURIONI, MARCO
FRANCESCHETTI, LUCA
GAMBAROTTO, LUCA
SAVARESI, SERGIO MATTEO
ING - Scuola di Ingegneria Industriale e dell'Informazione
9-apr-2024
2022/2023
Questa tesi ha lo scopo di sviluppare algoritmi di localizzazione vision-based per Head-Mounted Display (HMD) utilizzati in un veicolo in movimento per applicazioni di realtà aumentata. Questi algoritmi trovano la loro applicazione nel contesto di un progetto più ampio, che affronta le sfide tecnologiche poste dall'utilizzo del HMD su un veicolo in movimento utilizzando una combinazione di localizzazione tramite marker fiduciari e odometria tramite integrazione numerica dei dati provenienti da unità di misura inerziali. Questa tesi indaga due approcci che permettano di superare le limitazioni imposte dalla localizzazione basata su marker. Il primo è un algoritmo basato su Iterative Closest Point (ICP), che allinea una point cloud ottenuta in tempo reale tramite una stereo-camera con una mappa dell'abitacolo raccolta a priori. In particolare, si è effettuato un lavoro di ottimizzazione delle performance di questo algoritmo e delle procedure di mappatura dell'abitacolo, ottenendo un miglioramento della stima della posa in real-time. Il secondo approccio mira a superare la necessità di utilizzare una stereo-camera, proponendo una nuova tecnica di localizzazione basata sul metodo Feature-to-Point, che stima delle corrispondenze tra le immagini acquisite tramite una mono-camera e una mappa dell'abitacolo per calcolare la posa della camera. Questo metodo unisce i vantaggi dell'algoritmo basato su ICP, come la continuità e la robustezza del tracking dell'HMD, con la semplicità dell'hardware e dei sensori richiesti per la localizzazione basata su marker fiduciari.
File allegati
File Dimensione Formato  
2024_04_Ostinelli_Executive_Summary.pdf

non accessibile

Descrizione: Executive Summary
Dimensione 8.31 MB
Formato Adobe PDF
8.31 MB Adobe PDF   Visualizza/Apri
2024_04_Ostinelli_Tesi.pdf

non accessibile

Descrizione: Testo principale della tesi
Dimensione 31.67 MB
Formato Adobe PDF
31.67 MB Adobe PDF   Visualizza/Apri

I documenti in POLITesi sono protetti da copyright e tutti i diritti sono riservati, salvo diversa indicazione.

Utilizza questo identificativo per citare o creare un link a questo documento: https://hdl.handle.net/10589/218146