Neural network based LiDAR segmentation for autonomous racing

This thesis work describes a LiDAR segmentation neural network for autonomous racing. It was designed for the Dallara AV21 of Politecnico di Milano, which is the reigning champion team of the Indy Autonomous Challenge, the first competition of self-driving racing cars. Perception of the external environment is fundamental for autonomous vehicles. This particular racing application requires a fast and reliable identification of the elements in the surrounding environment, for the localization of the vehicle and detection of other objects. The proposed neural network architecture, uses LiDAR data to provide each point in the point cloud with a label between the classes of interest. It achieves this result by projecting the 3D input point cloud into a 2D range image, which is given in input to an encoder-decoder architecture that performs semantic segmentation. Furthermore, given the difficulty due to the sparse and unordered structure of the 3D point clouds, we have proposed a pre-processing algorithm, smoothing algorithm, to enrich the input data, to improve performance and compatibility. Since the smoothing algorithm increases the complexity and the time of the pre-processing stage, we have built the neural network architecture in order to produce in output, not only a labeled image, but also an enriched input image like the one produced by the smoothing algorithm. The training and testing of the neural network were done using experimental data, gath- ered during the Indy Autonomous Challenge.

Questo lavoro di tesi descrive una rete neurale di segmentazione LiDAR per le corse di auto a guida autonoma. È stato progettato per la Dallara AV21 del Politecnico di Milano, che è la squadra campione in carica dell’Indy Autonomous Challenge, la prima competizione di auto da corsa a guida autonoma. La percezione dell’ambiente esterno è fondamentale per i veicoli autonomi. Questa par- ticolare applicazione di competizione, richiede un’identificazione veloce ed affidabile degli elementi presenti nell’ambiente circostante, per la localizzazione del veicolo e il rilevamento di altri oggetti. L’architettura di rete neurale proposta, utilizza dati LiDAR per fornire a ciascun punto della point cloud un’etichetta tra le classi di interesse. Il risultato è ottenuto proiettando la point cloud 3D in input, in un’immagine 2D, che viene fornita in input a un’architettura encoder-decoder che esegue la segmentazione semantica. Inoltre, data la difficoltà dovuta dalla struttura sparsa e disordinata delle point cloud 3D, abbiamo proposto un algoritmo di pre-processing, smoothing algorithm, per arricchire i dati di input, così da migliorare le prestazioni e la compatibilità. Poiché l’algoritmo di smoothing aumenta la complessità e il tempo della fase di pre-processing, abbiamo costruito l’architettura della rete neurale in modo da produrre in output, non solo un’immagine etichettata, ma anche un’immagine di input arricchita, come quella prodotta dall’algoritmo di smoothing. L’addestramento e il test della rete neurale sono stati effettuati utilizzando dati sperimen- tali raccolti durante l’Indy Autonomous Challenge.