Embedded AI and sensor fusion for autonomous vehicles

One of the main requirements of an autonomous vehicle is the ability to sense the area around itself and retrieve a uniform representation of the surrounding. A standard setup for a self-driving car consists of multiple sensors (i.e., Lidar, radar, cameras, IMUs, Encoders). The goal of sensor fusion is to collect the heterogeneous information provided by these sensors and merge it to give the control algorithm a rich, but concise, representation. Furthermore, each sensor offers a specific feature of the surrounding obstacles; cameras are used for classification, Lidar provides accurate position and radar relative speed. Moreover, Lidars and radars are less effected by the changes of illumination between day and night compared to cameras. Adverse weather is also an important aspect to consider, indeed heavy rain and fog can degrade the quality of radars and cameras detection. Aggregating all those information and contexting the obstacle's position (i.e., on the street, on the ego-vehicle trajectory, parked on the roadside) requires accurate synchronization between the sensors and high computational power to perform fusion in real-time. This is particularly important in an highly dynamic environment like urban roads, where the rapid changes in the surrounding requires constant and fast responses from the vehicle. This thesis focuses on realizing a sensor fusion pipeline for a development platform equipped with limited computational power and soft synchronization between sensors. Through this thesis, I present multiple solutions to process each single sensor and retrieve information on the state of the autonomous vehicle and the surroundings. Then I propose different techniques to combine those data, using late fusion algorithms and hybrid architectures to retrieve a concise list of obstacles, which can be processed in real-time by the vehicle's planner. Due to the limited computational power available on the car, and the low resolution of the sensors if compared to a more traditional autonomous vehicle development platform, ad-hoc solutions needed to be implemented. In particular, the fusion process has been performed asynchronously, employing less traditional data representation, like a 2D occupancy grid, generally used in robotics systems, characterized by limited computational power, but not in the autonomous driving field. Each of the proposed solutions has been validated in a real environment, using the developed platform, and in simulation using data acquired from our vehicle in a controlled scenario.

Uno dei principali requisiti di un veicolo autonomo è l’abilità di percepire l’area che lo circonda e ottenere una rappresentazione uniforme dell’ambiente. Tradizionalmente un veicolo autonomo è equipaggiato con diversi sensori (lidar, radar, camera, imu, encoder). Lo scopo della sensor fusion è acquisire le informazioni eterogenee fornite da tutti questi sensori e combinarle tra loro per fornire agli algoritmi di controllo una rappresentazione particolareggiata, ma al contempo concisa. Infatti, ogni sensore fornisce informazioni specifiche degli ostacoli. Le videocamere sono usate per classificare, i lidar forniscono una posizione accurata, e i radar restituiscono la velocità degli ostacoli. Inoltre, lidar e radar sono meno influenzati dai cambi di illuminazione tra giorno e notte rispetto alle videocamere. Mentre condizioni meteo sfavorevoli sono un altro aspetto da considerare; pioggia e nebbia possono inficiare sulla qualità dei dati da camera e radar. Combinare tutte le informazioni dei diversi sensori e contestualizzare la posizione degli ostacoli (e.g., sulla strada, sulla traiettoria del veicolo autonomo, parcheggiato a lato della strada) richiede un'accurata sincronizzazione tra i diversi sensori e un elevata potenza di calcolo per poter svolgere la fusione in tempo reale. Questo è particolarmente importante in ambienti altamente dinamici come le strade urbane, dove il rapido cambiamento nell’ambiente circostante il veicolo richiede costantemente risposte rapide. Questa tesi si concentra quindi sulla realizzazione di un sistema di sensor fusion per una piattaforma di sviluppo di veicolo autonomi, fornita di una limitata potenza di calcolo e una sincronizzazione “soft” tra i diversi sensori. In questo lavoro presento diverse soluzioni per processare ogni sensore e calcolare le informazioni riguardanti lo stato del veicolo e l’ambiente circostante. Propongo quindi diverse tecniche per combinare queste informazioni, usando algoritmi di “late fusion” e approcci ibridi, per ottenere una lista limitata di ostacoli, che potrà essere facilmente processata in tempo reale dagli algoritmi di pianificazione della traiettoria. A causa della limitata potenza di calcolo sul veicolo e la bassa risoluzione di alcuni sensori, a confronto con altri progetti di guida autonoma, sono state sviluppate soluzioni ad-hoc. In particolare, il processo di fusione è svolto in maniera asincrona, sfruttando tecniche di rappresentazione dei dati meno tradizionali, come le griglie 2D usaste in robotica. Ognuna delle soluzioni proposte è stata validata in un ambiente reale, usando la nostra piattaforma di sviluppo, e in simulazione, usando dati acquisiti con il veicolo sperimentale in ambiente controllato.