Adaptive uncertainty-aware robust 4D radar fusion for all-weather multi-modal localization: AURORA

Reliable ego-vehicle localization is a fundamental requirement for autonomous driving, yet most multi-modal odometry approaches are designed assuming nominal sensing conditions. In real-world deployment, however, adverse weather and illumination variations introduce heterogeneous sensor degradation that significantly impacts perception reliability. This thesis addresses this gap by proposing an environment-aware multi-modal localization framework explicitly designed to operate under degraded sensing conditions. The proposed method (AURORA) integrates weather-aware 4D radar-camera fusion through environment conditioned feature modulation, enabling dynamic cross-modal interaction driven by learned environmental severity indicators. Furthermore, the framework extends the Adaptive Attentive Deep Odometry (A2DO) formulation by introducing policyregularized soft-gated fusion, where modality contributions are governed by learned probabilistic reliability policies rather than implicit attention weights alone. This design improves optimization stability, prevents degenerate modality selection, and enables smooth adaptation under sensing degradation and distribution shifts. In addition, the model jointly estimates heteroscedastic uncertainty together with relative pose. Beyond improving robustness to noisy or partially degraded observations, uncertainty estimation extends the model from deterministic pose prediction to joint estimation of translation and rotation along with their corresponding uncertainty measures, resulting in four outputs that provide calibrated confidence information for downstream autonomous driving modules. Experimental evaluation under heterogeneous weather and illumination conditions performed in HeRCULES Dataset demonstrates improved localization robustness, reduced trajectory drift, and consistent uncertainty–error correlation. Overall, the proposed framework demonstrates that explicitly modeling environmental conditions, continuous explicitly regularized reliability modeling, and predictive uncertainty is essential for achieving consistent multi-modal localization under real-world operating conditions.

Una localizzazione precisa e affidabile è un requisito essenziale per i veicoli autonomi; tuttavia, la maggior parte dei sistemi di odometria multimodale presuppone che i sensori operino in condizioni ideali. In scenari operativi reali, condizioni meteorologiche avverse e variazioni di illuminazione determinano un degrado non uniforme delle prestazioni dei sensori, incidendo in modo significativo sull’affidabilità del sistema percettivo. La presente tesi propone un’architettura di localizzazione multimodale specificamente concepita per garantire prestazioni robuste anche in condizioni di degrado sensoriale. Il metodo proposto (AURORA) realizza una fusione radar 4D–camera mediante un meccanismo di modulazione delle rappresentazioni, adattivo rispetto al contesto ambientale, che consente un’interazione dinamica tra le diverse modalità sensoriali sulla base di indicatori appresi della severità delle condizioni operative. Inoltre, l’architettura estende la formulazione Adaptive Attentive Deep Odometry (A2DO) introducendo un meccanismo di fusione soft-gated, regolarizzato tramite politiche di affidabilità apprese in forma probabilistica, attraverso le quali viene modulato il contributo di ciascuna modalità. Tale impostazione progettuale favorisce la stabilità del processo di ottimizzazione, previene fenomeni di selezione degenerata delle modalità e permette un adattamento progressivo in presenza di degrado sensoriale. Parallelamente, il modello effettua una stima congiunta della posa relativa e dell’incertezza eteroschedastica associata, superando l’impostazione puramente deterministica e passando a una rappresentazione probabilistica di traslazione e rotazione, complete delle rispettive misure di incertezza. Il sistema genera quattro grandezze in uscita, fornendo stime di confidenza calibrate a supporto dei moduli di guida autonoma a valle. La valutazione sperimentale, svolta in condizioni meteorologiche e di illuminazione eterogenee sul dataset HeRCULES, mostra un incremento della robustezza nella stima della posa e una correlazione coerente tra l’incertezza prevista e l’errore effettivamente osservato. Nel complesso, l’architettura proposta dimostra come l’integrazione esplicita delle condizioni ambientali, la modellazione continua dell’affidabilità sensoriale e la stima dell’incertezza predittiva costituiscano fattori determinanti per conseguire una localizzazione robusta in scenari operativi reali.