Development of a semi-supervised multimodal 3D object detection pipeline for pseudo-labeling

The advancement of autonomous driving perception systems is heavily reliant on deep neural networks, which traditionally require vast quantities of manually annotated data to achieve necessary precision. Addressing the bottleneck of prohibitively expensive and labor-intensive annotation, this thesis presents the development of a semi-supervised multimodal 3D object detection pipeline designed for the automatic pseudolabeling of raw sensor data. Conducted within the framework of the AIDA project at Politecnico di Milano, the research aims to adapt models pre-trained on public benchmarks to the specific operational domain of a custom autonomous vehicle fleet. The methodological approach consists of two primary contributions. First, the work enhances the standard BEVFusion architecture by replacing the convolutional LiDAR backbone with the Linear Group RNN and integrating an Adaptive Fusion module based on Squeeze-and-Excitation mechanisms. These modifications are designed to improve geometric feature extraction and robustness against sensor degradation. Second, a Teacher-Student framework is implemented utilizing an iterative Self-Training strategy. To ensure the quality of the generated pseudolabels, a dynamic, class-adaptive filtering strategy is introduced, which calibrates confidence thresholds based on the statistical distribution of predictions for each semantic category. Experimental validation was conducted using the public nuScenes dataset and two proprietary datasets collected in urban and adverse weather conditions. The proposed pipeline resulted in a significant performance improvement, achieving a gain of approximately 15 points in the NuScenes Detection Score (NDS) and comparable increases in Mean Average Precision (mAP) on the target domain. Notably, the framework demonstrated a massive performance leap for vulnerable road users, specifically increasing the mAP for the bicycle class by over 85% compared to the supervised baseline. These findings confirm that the developed semi-supervised pipeline effectively bridges the domain gap, substantially reducing the dependency on manual annotation for deploying autonomous perception systems.

Il progresso dei sistemi di percezione per la guida autonoma dipende strettamente dalle reti neurali, che tradizionalmente richiedono vaste quantità di dati annotati manualmente. Per ovviare ai costi proibitivi di tali annotazioni, questa tesi presenta una pipeline multimodale semi-supervisionata per il rilevamento di oggetti 3D, progettata per lo pseudolabeling automatico. Condotta nell'ambito del progetto AIDA presso il Politecnico di Milano, la ricerca mira ad adattare modelli pre-addestrati su benchmark pubblici al dominio operativo di veicoli autonomi personalizzati. L'approccio metodologico si articola in due contributi. In primo luogo, il lavoro evolve l'architettura BEVFusion sostituendo la backbone LiDAR con Linear Group RNN e integrando un modulo di Adaptive Fusion basato su meccanismi di Squeeze-and-Excitation. Tali modifiche migliorano l'estrazione delle feature geometriche e la robustezza contro il degrado dei sensori. In secondo luogo, viene implementato un framework Teacher-Student che utilizza una strategia iterativa di Self-Training. Per garantire la qualità delle pseudo-label, è introdotta una strategia di filtraggio dinamica e adattiva, che calibra le soglie di confidenza in base alla distribuzione statistica delle predizioni per ciascuna categoria. La validazione sperimentale, condotta sul dataset nuScenes e su dataset proprietari in condizioni urbane e di maltempo, ha mostrato un netto miglioramento delle prestazioni: un incremento di circa 15 punti nel NuScenes Detection Score (NDS) e aumenti analoghi nella Mean Average Precision (mAP) sul dominio di destinazione. In particolare, il framework ha garantito un salto prestazionale per gli utenti vulnerabili della strada, incrementando la mAP per le biciclette di oltre l'85% rispetto alla baseline supervisionata. Questi risultati confermano che la pipeline sviluppata colma efficacemente il domain-gap, riducendo la dipendenza dall'annotazione manuale per i sistemi di percezione autonoma.