Road sign recognition and localization based on deep learning and sensor fusion

This thesis proposes an innovative methodology based on Artificial Intelligence (AI) for automatically detecting, classifying, and mapping traffic signs from data acquired from a sensor system-equipped vehicle. With recent developments in AI, this task has become easier and faster, although it remains challenging. Our work combines deep learning and sensor fusion techniques. The detection phase is performed using a Convolutional Neural Network (CNN) called YOLO-v3, while the classification phase uses a lighter CNN created specifically for this task. The mapping phase, with the goal of finding the absolute location of each detected road sign and placing it on a 3D virtual map, is performed with a brand-new mapping methodology based on sensor fusion. This methodology combines information obtained from a LiDAR sensor and a RTK-GPS with that of the camera system. Finally, the entire pipeline has been tested with real data, demonstrating robust capabilities.

Questa tesi propone una metodologia innovativa basata sull’Intelligenza Artificiale (AI) per rilevare, classificare e mappare automaticamente la segnaletica stradale a partire dai dati acquisiti da un veicolo dotato di un sistema di sensori. Con i recenti sviluppi dell’IA, questo compito è diventato più facile e veloce, anche se rimane impegnativo. Il nostro lavoro combina tecniche di deep learning e sensor fusion. La fase di rilevamento viene eseguita utilizzando una rete neurale convoluzionale (CNN) chiamata YOLO-v3, mentre la fase di classificazione utilizza una CNN più leggera creata appositamente per questo compito. La fase di mappatura, con l’obiettivo di trovare la posizione assoluta di ogni cartello stradale rilevato e posizionarlo su una mappa virtuale 3D, viene eseguita con una nuovissima metodologia di mappatura basata su sensor fusion. Questa metodologia combina le informazioni ottenute da un sensore LiDAR e da un RTK-GPS con quelle del sistema di telecamere. Infine, l’intera pipeline è stata testata con dati reali, dimostrando robuste capacità.