Traffic light detection and classification exploiting autonomous vehicle localization

The automation of vehicle has become increasingly central, in order to overcome or limiting the possible consequences introduced by human error. Increasing attention is being paid to the concept of autonomous driving, both for the transport of people and goods. It is precisely with the idea of urban delivery that Yape was born, a robot able to move autonomously. In this dissertation, the problem of traffic light crossing will be considered. What will be described below, is a package that, through the calibration of a LiDAR-camera system and information on localization, will facilitate the recognition and classification of traffic lights. Knowing the vehicle’s position in a previously built map and using the information derived from odometry, the pose of the camera in the world has been calculated. This has produced a substantial reduction of the region of interest in which the traffic lamps are estimated to be located. The aim of the thesis is to obtain a ROI such as to be able to recognize the traffic light state without having to identify lights’ shape and position.

Con il tempo, l’automazione dei veicoli ha raggiunto sempre maggior centralità, nell’ottica di sormontare o comunque limitare le possibili conseguenze introdotte dall’errore umano. Sempre maggior attenzione raccoglie in particolare il concetto di guida autonoma, sia per il trasporto di persone che di beni materiali. È proprio con l’idea dell’urban delivery che nasce Yape, il robot per le consegne che dovrà essere in grado di muoversi autonomamente. In questa tesi verrà presa in considerazione la problematica relativa all’attraversamento semaforico del veicolo. In particolare, ciò che verrà successivamente descritto, è un pacchetto che, attraverso la calibrazione di un sistema LiDAR-camera e le informazioni di localizzazione, faciliterà il riconoscimento e la classificazione delle lanterne luminose. Conoscendo la posa del veicolo in una mappa costruita precedentemente e utilizzando le informazioni di localizzazione derivanti dall’odometria e già sfruttate per la guida autonoma, si è calcolata la posa effettiva della camera nel mondo. Questo, in aggiunta all’identificazione della posizione dei semafori nella mappa, ha permesso di ridimensionare notevolmente l’area di interesse dell’immagine nella quale si stima di trovare le lanterne luminose. L’obiettivo è quello di ottenere uno scontorno tale da poter riconoscere lo stato logico semaforico senza dover usare tecniche di image analysis volte all’identificazione di forma e posizione della luce accesa.