Ego vehicle odometry estimation with sensor fusion under sensor failure scenarios for autonomous vehicles

This thesis addresses the challenges in ego-vehicle odometry estimation for autonomous vehicles, specifically under adverse weather conditions that can lead to sensor malfunctions. Autonomous driving systems highly rely on sensors such as camera, LiDAR, and inertial measurement unit (IMU), which are unprotected from both harsh weather and technical failures. While existing methods show robustness against common technical issues, such as rotational misalignment and disconnection, they often degrade when facing dynamic environmental factors like weather conditions. This limitation affects their overall performance in real-world scenarios. To address these problems, this research introduces a novel deep learning-based motion estimator that integrates visual, inertial, and millimeter wave radar data, utilizing each sensor's strengths to improve odometry estimation accuracy and reliability under adverse environmental conditions such as snow, rain, and varying lighting conditions. The proposed model uses advanced sensor fusion techniques that dynamically adjust the contributions of each sensor based on the current environmental condition, with radar compensating for visual sensor limitations in poor visibility scenarios. This thesis explores recent advancements in radar-based odometry and highlights that radar’s robustness in different weather conditions makes it a valuable component for pose estimation systems, specifically when visual sensors are degraded due to factors like precipitation and low-light conditions. Experimental results, conducted on the Boreas dataset, showcases the robustness and effectiveness of the model in both clear and degraded environments, highlighting improved odometry estimation performance compared to traditional sensor fusion approaches.

Questa tesi affronta le sfide dell'odometria del veicolo autonomo per i veicoli a guida autonoma, in particolare in condizioni meteorologiche avverse che possono causare malfunzionamenti dei sensori. I sistemi di guida autonoma si affidano fortemente a sensori come telecamere, LiDAR e unità di misura inerziale (IMU), i quali possono risentire delle condizioni meteorologiche estreme e dei guasti tecnici. Sebbene i metodi esistenti mostrino una certa robustezza contro problemi tecnici comuni, come disallineamenti rotazionali e disconnessioni, spesso si degradano quando si trovano ad affrontare fattori ambientali dinamici come le condizioni climatiche. Questa limitazione influisce sulle loro prestazioni complessive in scenari reali. Per affrontare questi problemi, questa ricerca introduce un nuovo stimatore di movimento basato su deep learning che integra dati visivi, inerziali e radar a onde millimetriche, sfruttando i punti di forza di ciascun sensore per migliorare l'accuratezza e l'affidabilità dell'odometria in condizioni ambientali avverse come neve, pioggia e variazioni di illuminazione. Il modello proposto utilizza tecniche avanzate di fusione sensoriale che regolano dinamicamente i contributi di ciascun sensore in base alla condizione ambientale corrente, con il radar che compensa le limitazioni dei sensori visivi in condizioni di scarsa visibilità. Questa tesi esplora i recenti progressi nell'odometria basata su radar e sottolinea che la robustezza del radar in diverse condizioni meteorologiche lo rende un componente prezioso per i sistemi di stima della posizione, soprattutto quando i sensori visivi sono degradati a causa di fattori come precipitazioni e scarsa illuminazione. I risultati sperimentali, condotti sul dataset Boreas, dimostrano la robustezza e l'efficacia del modello sia in ambienti chiari che degradati, evidenziando un miglioramento delle prestazioni nell'odometria rispetto agli approcci tradizionali di fusione sensoriale.