Online sensor calibration for autonomous vehicles

The accuracy and alignment of LiDAR, RADAR, and camera sensors are critical for the effectiveness of perception systems in autonomous vehicles. These sensors, with their complementary operating principles and unique strengths, are integral to robust environmental perception. However, maintaining precise extrinsic calibration between them is challenging, especially in dynamic environments where factors like mechanical vibrations and sensor drift can degrade calibration over time. This thesis addresses the simultaneous online calibration of these sensors, proposing two novel, end-to-end trainable deep learning approaches: RLCNet and RLCNet+. The scope of the thesis encompasses the extrinsic calibration of LiDAR, RADAR, and camera sensors, focusing on aligning their relative poses to enable accurate sensor fusion. Intrinsic and temporal calibrations are assumed to be accurate and are beyond the thesis's scope. The research is validated using publicly available datasets collected under real-world conditions, ensuring the proposed methods are practical and scalable for deployment in fully autonomous vehicles. The thesis begins with an overview of the operating principles, advantages, and limitations of LiDAR, RADAR, and camera sensors, emphasizing their roles in sensor fusion architectures and the importance of extrinsic calibration. A review of the literature reveals a critical gap in research addressing simultaneous online calibration for all three sensors, with most existing works focusing on pairwise calibration. This motivates the development of the proposed approaches, which are designed to meet the performance and reliability demands of future autonomous systems. The first proposed method, RLCNet, focuses exclusively on rotational calibration, addressing the significant impact of rotational misalignment on perception accuracy. It employs a lightweight architecture optimized for real-time applications. The second approach, RLCNet+, extends this capability to all six degrees of freedom, incorporating a novel message-passing network for optimization. Both networks are validated through extensive experiments, demonstrating their accuracy, repeatability, and robustness across varying datasets and miscalibration ranges. An online calibration framework is also introduced, leveraging a weighted moving average and outlier detection mechanism to dynamically update calibration parameters. This framework effectively reduces prediction noise while remaining responsive to sensor drift, ensuring consistent alignment in real-time scenarios. An ablation study highlights the importance of key design choices, and benchmarking against state-of-the-art methods confirms the superior performance of the proposed approaches. This thesis contributes to autonomous vehicle research by addressing critical challenges in sensor calibration. It presents two advanced deep learning frameworks for simultaneous online calibration, introduces innovative optimization and noise mitigation techniques, and validates these contributions through rigorous experimental analysis. The findings pave the way for more reliable and adaptive sensor calibration methods, ensuring the safety and efficacy of autonomous vehicles in complex environments.

La precisione e l'allineamento dei sensori LiDAR, RADAR e delle telecamere sono fondamentali per l'efficacia dei sistemi di percezione nei veicoli autonomi. Questi sensori, grazie ai loro principi di funzionamento complementari e ai vantaggi unici, sono essenziali per una percezione ambientale robusta. Tuttavia, mantenere una calibrazione estrinseca precisa tra di essi rappresenta una sfida, soprattutto in ambienti dinamici, dove fattori come vibrazioni meccaniche e drift dei sensori possono deteriorare la calibrazione nel tempo. Questa tesi affronta la calibrazione online simultanea di questi sensori, proponendo due nuovi approcci di deep learning end-to-end: RLCNet e RLCNet+. L'ambito della tesi riguarda la calibrazione estrinseca dei sensori LiDAR, RADAR e delle telecamere, concentrandosi sull'allineamento delle loro pose relative per abilitare una fusione sensoriale accurata. Si presuppone che la calibrazione intrinseca e temporale sia già accurata e non rientra nell'ambito di questa ricerca. I metodi proposti vengono convalidati utilizzando dataset pubblici raccolti in condizioni reali, garantendo che siano pratici e scalabili per l'implementazione nei veicoli completamente autonomi. La tesi inizia con una panoramica sui principi di funzionamento, vantaggi e limiti dei sensori LiDAR, RADAR e delle telecamere, sottolineando il loro ruolo nelle architetture di fusione sensoriale e l'importanza della calibrazione estrinseca. Una revisione della letteratura evidenzia una lacuna critica nella ricerca relativa alla calibrazione online simultanea di tutti e tre i sensori, poiché la maggior parte dei lavori esistenti si concentra sulla calibrazione a coppie. Questo aspetto motiva lo sviluppo degli approcci proposti, progettati per soddisfare le esigenze di prestazioni e affidabilità dei futuri sistemi autonomi. Il primo metodo proposto, RLCNet, si concentra esclusivamente sulla calibrazione rotazionale, affrontando l'impatto significativo del disallineamento rotazionale sull'accuratezza della percezione. Questo metodo impiega un'architettura leggera ottimizzata per applicazioni in tempo reale. Il secondo approccio, RLCNet+, estende questa capacità a tutte e sei le gradi di libertà, integrando una nuova rete di ottimizzazione basata su message-passing. Entrambi i metodi sono stati validati attraverso esperimenti estensivi, dimostrando la loro accuratezza, ripetibilità e robustezza su dataset variabili e intervalli di miscalibrazione. È stato inoltre introdotto un framework di calibrazione online che utilizza una media mobile ponderata e un meccanismo di rilevamento degli outlier per aggiornare dinamicamente i parametri di calibrazione. Questo framework riduce efficacemente il rumore delle previsioni mantenendo al contempo la reattività al drift dei sensori, garantendo un allineamento costante in scenari in tempo reale. Uno studio di ablazione evidenzia l'importanza delle scelte progettuali chiave, e un confronto con i metodi all'avanguardia conferma le prestazioni superiori degli approcci proposti. Questa tesi contribuisce alla ricerca sui veicoli autonomi affrontando sfide critiche nella calibrazione dei sensori. Presenta due avanzati framework di deep learning per la calibrazione online simultanea, introduce tecniche innovative di ottimizzazione e mitigazione del rumore e valida questi contributi attraverso un'analisi sperimentale rigorosa. I risultati aprono la strada a metodi di calibrazione dei sensori più affidabili e adattivi, garantendo la sicurezza e l'efficacia dei veicoli autonomi in ambienti complessi.