Semantic decoding of vehicle sensory data for urban digital twin generation

High-definition (HD) maps allow for an accurate representation of the environment to be used in autonomous driving systems. However, manually designing HD maps is a very time-consuming process, often requiring computer graphics expertise. In this dissertation, we present a series of techniques based on Artificial Intelligence (AI) and computer vision to aid the automatic derivation of semantically rich HD maps by exploiting the sensory data provided by a survey vehicle. These data include camera images, point clouds, and frame-by-frame localization information. We first introduce robust methods for online camera extrinsic calibration. Then, we present an original architecture for the recognition of road lines, based on deep learning, and subsequent lane-level HD mapping. To provide more precise road-level detail, the road surface is analytically modeled in 3D using a novel methodology based on cross-section modeling and interpolation. We also devise techniques for mapping road elements using different strategies. For instance, we propose to extract information about the vehicle's surroundings in the form of geo-referenced labels or object-level meshes. Lastly, we demonstrate the efficacy of the proposed approaches in a variety of real-world scenarios.

Le mappe ad alta definizione (HD) consentono una rappresentazione accurata dell'ambiente da utilizzare nei sistemi di guida autonoma. Tuttavia, la progettazione manuale di mappe HD è un processo molto lungo, che spesso richiede competenze di computer grafica. In questa tesi, presentiamo una serie di tecniche basate sull'intelligenza artificiale (IA) e sulla computer vision per facilitare la derivazione automatica di mappe HD semanticamente ricche, sfruttando i dati sensoriali forniti da un veicolo di rilevamento. Questi dati comprendono le immagini della telecamera, le nuvole di punti e le informazioni di localizzazione fotogramma per fotogramma. In primo luogo, introduciamo metodi robusti per la calibrazione estrinseca online della telecamera. Poi, presentiamo un'architettura originale per il riconoscimento delle linee stradali, basata sul deep learning, e la successiva mappatura HD a livello di corsia. Per fornire dettagli più precisi a livello di strada, la superficie stradale viene modellata analiticamente in 3D utilizzando una nuova metodologia basata sulla modellazione e l'interpolazione delle sezioni trasversali. Inoltre, abbiamo messo a punto tecniche per la mappatura degli elementi stradali utilizzando diverse strategie. Ad esempio, proponiamo di estrarre informazioni sull'ambiente che circonda il veicolo sotto forma di etichette geo-referenziate o di mesh a livello di oggetto. Infine, dimostriamo l'efficacia degli approcci proposti in una serie di scenari reali.