Camera-radar fusion for robust 3D object detection: from sparse point clouds to radar tensors

Autonomous driving is one of the most promising technologies for transforming urban mobility. A key component enabling a vehicle to operate safely is the perception module, which collects and processes data from the onboard sensors to build an interpretable repre- sentation of the surrounding environment. Among the various perception tasks, this thesis focuses on object detection through camera-radar sensor fusion, within the framework of the AIDA project (Artificial Intelligence Driving Autonomous), which aims at developing autonomous driving technology for urban roads. Camera-radar fusion is a compelling approach: it combines the visual richness of images with radar’s robustness under adverse conditions and its ability to natively provide 3D spatial information that cameras cannot capture by default. However, this fusion introduces significant challenges, primarily due to the nature of the radar signal: radar sensors produce an extremely sparse point cloud, making effective integration with visual data non-trivial. In this thesis, several state-of- the-art camera-radar object detection models have been analyzed and tested, including CRN, RCBEVDet, and RaCFormer, evaluating their performance on AIDA’s vehicles. The results fell short of expectations. Analysis of the radar data revealed that the 3D points produced after signal processing carry limited information, as also confirmed by RCS-based visualizations, making them insufficient for reliable detection. The root cause lies in the signal processing step known as CFAR (Constant False Alarm Rate), which, inherently discards a large portion of the signal, yielding point clouds that are too sparse and uninformative for object detection. This finding led to the conclusion that future generations of AIDA vehicles should adopt radar sensors capable of providing the raw signal tensor, enabling a more flexible and effective upstream signal processing pipeline that overcomes the constraints imposed by traditional approaches. The experimental re- sults confirm that extreme point cloud sparsity is a critical bottleneck, motivating this direction and laying the groundwork for future developments.

La guida autonoma è una delle tecnologie più promettenti per trasformare la mobilità urbana. Uno degli elementi chiave che permette a un veicolo autonomo di operare in sicurezza è il modulo di percezione, responsabile dell'elaborazione dei dati sensoriali per costruire una rappresentazione dell'ambiente circostante. Questa tesi si concentra sul rilevamento degli oggetti tramite la fusione dei sensori camera e radar, nell'ambito del progetto AIDA (Artificial Intelligence Driving Autonomous), che mira allo sviluppo della guida autonoma su strade urbane. La fusione camera-radar è un approccio promettente: unisce la ricchezza visiva delle immagini con la robustezza del radar in condizioni avverse e la sua capacità di fornire nativamente informazioni 3D che la camera non può acquisire di default. Tuttavia, i radar producono una point cloud estremamente sparsa, rendendo difficile l'integrazione efficace con i dati visivi. Sono stati analizzati e testati diversi modelli allo stato dell'arte, tra cui CRN, RCBEVDet e RaCFormer, valutandone le prestazioni sui veicoli AIDA. I risultati ottenuti si sono rivelati inferiori alle aspettative. L'analisi dei dati radar ha evidenziato che i punti 3D prodotti dopo l'elaborazione del segnale contengono informazioni limitate, come confermato anche dalle visualizzazioni basate su RCS, risultando insufficienti per un rilevamento affidabile. La causa risiede nello step di elaborazione noto come CFAR (Constant False Alarm Rate), che per sua natura teorica — e non per una scelta di configurazione — scarta inevitabilmente una grande porzione del segnale, producendo point cloud troppo sparse e poco informative. Le future generazioni di veicoli AIDA dovrebbero quindi adottare radar in grado di fornire il tensore grezzo del segnale, abilitando una pipeline di elaborazione a monte più flessibile ed efficace. I risultati sperimentali confermano che l'eccessiva sparsità è un collo di bottiglia critico, motivando questa direzione e aprendo la strada a sviluppi futuri nella percezione multi-sensore per la guida autonoma urbana.