Multi-modal sensing for autonomous driving: a unified calibration framework for LiDAR, RGB and Event cameras

Autonomous driving is one of the most prominent research and application fields in computer vision. Autonomous driving frameworks combine traditional sensors such as RGB cameras and LiDARs while also incorporating more innovative and recent sensors like Event Cameras, which aim to bridge the gap between existing sensors and enhance the overall reliability of the framework. In multi-sensor setups, knowing the relative pose between sensors and being able to fuse information from them is essential. In this thesis, we address the problem of calibrating an Event Camera with multiple sensors (i.e., LiDARs and RGB cameras) to enhance an existing autonomous driving framework by integrating data from all sensors. We propose a toolbox to directly calibrate these three types of sensors, standardizing a procedure for calibrating complex frameworks and demonstrating the effectiveness aligning their reference frames to achieve a comprehensive understanding of the scene. This procedure lays the groundwork for further studies, such as object detection, where multi-modal models can be developed to improve detection robustness.

La guida autonoma è uno dei campi di ricerca più importanti della computer vision. I framework di guida autonoma combinano sensori standard come telecamere RGB e LiDARs, ma lasciano spazio a sensori più recenti e innovativi come le Event Cameras, che hanno lo scopo di migliorare l'efficacia di sensori esistenti e di aumentare l'affidabilità dell'intero framework. Nelle configurazioni multi-sensore è essenziale conoscere la posa relativa tra i sensori e l'abilità di fondere i dati tra di essi. In questa tesi affrontiamo il problema della calibrazione di una Event Camera con più sensori (i.e. LiDARs e telecamere RGB) per migliorare un framework di guida autonoma esistente fondendo i dati di tutti i sensori. Proponiamo una toolbox per calibrare direttamente questi tre tipi di sensori, al fine di standardizzare una procedura di calibrazione di frameworks complessi mostrandone l'efficacia combinando i sistemi di coordinate di questi sensori per ottenere una comprensione completa della scena. Questa procedura getta le basi per altri studi come la object detection in cui possono essere sviluppati modelli multi-modali per migliorare la robustezza del rilevamento.