LiDAR. Stereo camera fusion for accurate depth estimation

Dense 3D reconstruction of the surrounding environment is one the fundamental way of perception for Advanced Driver-Assistance Systems. In the field of ADAS, accurate 3D modeling finds applications in many areas like obstacle detection, object tracking, and remote driving. It is often achieved by combining information from multiple complementary sensor modules, owing to the superior performance of such techniques. Many researchers have explored the fusion of LiDAR range measurement, with disparity computations provided by a stereo camera, for dense depth reconstruction. This thesis introduces a novel post-processing method for accurate depth estimation from LiDAR - stereo camera fusion. The proposed algorithm is formulated in the form of a patch-wise depth correction approach. The sparse but accurate range data available from the LiDAR act as references for improving the depth estimation by the stereo camera. The continuity of depth map is restored with a Bilateral Filter, while preserving edges and object boundaries. The accuracy of the proposed algorithm is validated against a ground truth provided by the KITTI data set. To maintain computational efficiency, the algorithm is implemented in a parallel computing architecture of modern GPUs, hence making it suitable for real-time applications.

La ricostruzione densa 3D dell’ambiente circostante è una delle principali tecniche attraverso la quale i Sistemi Avanzati di Assistenza alla Guida percepiscono l’ambiente circostante. Nel campo degli ADAS la modellazione 3D è impiegata per vari scopi, quali rilevamento di ostacoli, tracking di oggetti e guida da remoto. Nella maggior parte dei casi questo risultato è ottenuto attraverso l’utilizzo contemporaneo di sensori che forniscono dati complementari gli uni dagli altri, questo permette di ottenere risultati migliori rispetto al singolo sensore. Per ottenere una ricostruzione densa della mappa di profondità, infatti, molti ricercatori si sono serviti della sovrapposizione di dati provenienti da LiDAR e fotocamera stereoscopica. Nello specifico, questa tesi punta ad introdurre una nuova metodologia di rielaborazione dei dati provenienti dall’unione fra LiDAR e fotocamera stereoscopica, in modo da ottenere una stima accurata della mappa di profondità. L’algoritmo descritto si basa su un approccio per la correzione della profondità a zone in cui le misurazioni accurate ma non sufficientemente fitte provenienti da LiDAR sono utilizzate come riferimento per migliorare la modellazione ottenuta dalla fotocamera stereoscopica. Utilizzando un Bilateral Filter sulla mappa prodotta è possibile garantirne la continuità, rispettando al contempo bordi e limiti degli oggetti. L’accuratezza dell’algoritmo proposto è validata rispetto a una misura veritiera fornita dal dataset KITTI. Per mantenere alta l’efficienza computazionale l’algoritmo è implementato sfruttando una architettura di calcolo parallelo, che sfrutta le moderne schede video, rendendolo quindi idoneo per applicazioni in tempo reale.