Ego vehicle and obstacle state estimation in degraded and low-resolution sensing scenarios

Autonomous Driving Systems, once seen as a futuristic technology, are now at the forefront of the research and near operational reality with looming applications such as self-driving vehicles, automated taxi fleets, automated docks, etc. The technology is enabled through four major components: localization, perception, path planning, and control, and each component is fraught with complex challenges. This doctoral thesis studies localization and perception components of the software stack through multiple research with the primary objective of increasing accuracy, enhancing robustness, and providing a high degree of modularity through sensor fusion. The doctoral thesis is presented as a collection of three Journal papers and five Conference papers. Each contribution addresses a pivotal challenge posed within the framework of vehicle localization and perception. Initially, the focus is on enhancing localization accuracy and robustness, particularly in scenarios of sensor failure, utilizing deep learning algorithms. Sensor failure is addressed by implementing feature fusion which implicitly models the feature co-relation, illustrated by an example of visual inertial odomery. This is extended to perform state estimation with sensor failure and within the context of partial domain knowledge. Next, the thesis addresses algorithm modularity to accommodate multiple temporally asynchronous and spatially roughly calibrated sensors for localization. Factor graph optimization is leveraged to establish algorithm modularity, increase state estimation accuracy, and enhance robustness through sensor fusion, crucially in scenarios with GNSS measurement degradation and failures. The thesis introduces multiple novel algorithms based on factor graph optimization tailored to diverse use cases and sensor setups. Environment perception with low-resolution LiDAR and Radar sensors is studied next. Object detection with low-resolution LiDAR is an open problem in the literature. To this end, the thesis investigates multiple algorithms suitable for this task and proposes a novel measurement model for obstacle-tracking. In the next step, tracking algorithms are enhanced by integrating road models into the tracking framework. Object localization in road coordinates and fusion between LiDAR and Radar detections are observed to increase tracking accuracy. In summary, the thesis addresses challenges relevant to vehicle localization within the theme of accuracy and robustness in sensor failure scenarios, and modularity for integration of multiple sensors. Proposed novel algorithms are observed to enhance accuracy and robustness, and provide a high degree of modularity for sensor fusion. The thesis also explores multiple solutions for object tracking with LiDAR and Radar sensors. The proposed integration of the road model into the object tracking framework and sensor fusion was observed to increase the tracking accuracy.

I sistemi di guida autonoma, un tempo considerati una tecnologia futuristica, sono ora all'avanguardia della ricerca e quasi una realtà operativa con applicazioni imminenti come veicoli autonomi, flotte di taxi automatizzati, dock automatizzati, ecc. La tecnologia è abilitata da quattro componenti principali: localizzazione, percezione, pianificazione del percorso e controllo, e ciascuna componente è afflitta da sfide complesse. Questa tesi di dottorato studia i componenti di localizzazione e percezione dello stack software attraverso molteplici ricerche con l'obiettivo primario di aumentare la precisione, migliorare la robustezza e fornire un alto grado di modularità tramite la fusione dei sensori. La tesi di dottorato è presentata come una raccolta di tre articoli su rivista e cinque articoli di conferenze. Ogni contributo affronta una sfida cruciale posta nel quadro della localizzazione e percezione dei veicoli. Inizialmente, l'attenzione si concentra sul migliorare la precisione e la robustezza della localizzazione, in particolare in scenari di guasto del sensore, utilizzando algoritmi di deep learning. Il guasto del sensore viene affrontato implementando la fusione delle caratteristiche che modella implicitamente la correlazione delle caratteristiche, illustrata da un esempio di odometria visiva inerziale. Questo viene esteso per eseguire la stima dello stato con guasto del sensore e nel contesto di conoscenze parziali del dominio. Successivamente, la tesi affronta la modularità degli algoritmi per accogliere più sensori temporaneamente asincroni e spazialmente calibrati approssimativamente per la localizzazione. L'ottimizzazione del grafo dei fattori viene utilizzata per stabilire la modularità degli algoritmi, aumentare la precisione della stima dello stato e migliorare la robustezza attraverso la fusione dei sensori, cruciale in scenari con degrado e guasti delle misurazioni GNSS. La tesi introduce molteplici nuovi algoritmi basati sull'ottimizzazione del grafo dei fattori, su misura per diversi casi d'uso e configurazioni di sensori. La percezione dell'ambiente con sensori LiDAR e Radar a bassa risoluzione viene studiata successivamente. Il rilevamento degli oggetti con LiDAR a bassa risoluzione è un problema aperto in letteratura. A tal fine, la tesi indaga su molteplici algoritmi adatti a questo compito e propone un nuovo modello di misurazione per il tracciamento degli ostacoli. Nel passo successivo, gli algoritmi di tracciamento vengono migliorati integrando modelli stradali nel quadro di tracciamento. Si osserva che la localizzazione degli oggetti in coordinate stradali e la fusione tra rilevamenti LiDAR e Radar aumentano la precisione del tracciamento. In sintesi, la tesi affronta le sfide relative alla localizzazione dei veicoli nel tema della precisione e robustezza in scenari di guasto del sensore e modularità per l'integrazione di più sensori. Si osserva che i nuovi algoritmi proposti migliorano la precisione e la robustezza e forniscono un alto grado di modularità per la fusione dei sensori. La tesi esplora anche molteplici soluzioni per il tracciamento degli oggetti con sensori LiDAR e Radar. Si osserva che l'integrazione del modello stradale nel quadro di tracciamento degli oggetti e la fusione dei sensori aumentano la precisione del tracciamento.