Real-Time stabilization of inverse perspective mapping by exploiting lane markings invariants and vehicle angular velocity

Nowadays, autonomous vehicle systems are famous for incorporating an expensive array of sensors, including multiple cameras, LiDARs, and radars. This acts as a barrier, preventing the widespread adoption of such technologies in reasonably priced cars. Nevertheless, one of the main reasons for using multiple sensors is the inability of the current computer vision techniques to provide, using only a single camera, a reliable and accurate 3D perception of the environment surrounding the vehicle. In a mono-vision setup, the Inverse Perspective Mapping (IPM) is used to project the detected features onto the ground plane. The IPM transform is a function of the camera calibration with respect to the ground plane, and, for a moving vehicle, the camera calibration could change significantly from the original calibration performed while stationary, producing an inaccurate IPM. In this manuscript, we propose a novel technique for stabilizing the IPM by esti mating the relative attitude of the camera with respect to the ground plane. Using computer vision techniques, we extract the relative attitude by estimating the lane width and enforcing the road lines to, instantaneously, have a constant curvature value and the same center of curvature. Employing Kalman filtering, we combine the attitude estimations from vision with an inertial model, which is based on time integrating the rotation rate measurements from a MEMS gyroscope. At last, we perform a comprehensive evaluation of the proposed pipeline to make sure it is robust and fast enough to be incorporated into real-time systems, and we show that it is capable of increasing the accuracy of the IPM.

Oggigiorno, i sistemi per veicoli autonomi sono famosi per incorporare una costosa serie di sensori, tra cui telecamere multiple, LiDAR e radar. Ciò costituisce una barriera che impedisce l’adozione diffusa di tali tec nologie in automobili dal prezzo contenuto. Tuttavia, una delle ragioni principali per l’utilizzo di più sensori è l’incapacità delle attuali tecniche di computer vision di fornire, utilizzando una sola telecamera, una percezione 3D affidabile e accurata dell’ambiente circostante il veicolo. In una configurazione di mono-visione, l’Inverse Perspective Mapping (IPM) viene utilizzato per proiettare le caratteristiche rilevate sul piano del terreno. La trasformazione IPM è una funzione della calibrazione della telecamera rispetto al piano del terreno, e, per un veicolo in movimento, la calibrazione della telecamera potrebbe cambiare in modo significativo rispetto a quella originale eseguita da fermo, producendo un IPM impreciso. In questo manoscritto, proponiamo una nuova tecnica per stabilizzare l’IPM stimando l’assetto relativo della telecamera rispetto al piano del terreno. Utiliz zando tecniche di computer vision, estraiamo l’assetto relativo stimando la larghezza della corsia e imponendo che le linee stradali abbiano, immediatamente, un valore di curvatura costante e lo stesso centro di curvatura. Impiegando il filtraggio di Kalman, combiniamo le stime dell’assetto dalla visione con un modello inerziale, che si basa sull’integrazione temporale delle misure del tasso di rotazione ottenute da un giroscopio MEMS. Infine, eseguiamo una valutazione completa della pipeline proposta per assicurarci che sia sufficientemente robusta e veloce per essere incorporata in sistemi in tempo reale, e dimostriamo che è in grado di aumentare l’accuratezza dell’IPM.