Design and implementation of a computer vision based forward collision warning system for motorbikes

This project builds from the spreading interest on Advanced Driving Assistance Systems which try to enhance the safety of the driver and decrease the amount of effort necessary to operate a vehicle. Although several solutions have been adopted on the automotive market, motorbikes oriented driving assistance systems are rarely taken into account despite the possible benefits from a safety point of view. In this context, we designed and implemented a collision warning system that determines if the preceding vehicle may be dangerous for the motorcyclist. In particular, a computer vision based approach was adopted which extracts all the required information from a camera mounted in the front of the motorbike. The vehicles are detected and tracked in each frame and the one in the same lane as the motorbike is selected analyzing the 3D structure of the road obtained after identifying lanes. The 3D representation of the road surface is further exploited to estimate the distance between the preceding vehicle and the motorbike. Furthermore, lateral and top stop lights are identified and classified in order to obtain the braking status of the vehicle. In the end, all the previously computed measurements are used in order to generate warnings whenever the motorbike driver is in a potentially dangerous situation. From the previously listed computations, the most innovative contribution of this study was the adaptation of the car-oriented algorithms on motorbikes. Unlike the other types of vehicles, in motorbikes, it is absolutely essential to consider the roll angle. In particular, a 3D model of the road was defined in order to make the algorithm robust in not negligible roll angle situations. This representation was used with an extended Kalman Filter in order to track the lanes over time. Another contribution of this project was a novel approach used to identify stop lights regions and determine their status using a set of features that take into account the surrounding environment illumination conditions.

Questo progetto si sviluppa a partire dal crescente interesse verso sistemi avanzati per l'assistenza del conducente (ADAS), i quali cercano di migliorare la sicurezza alla guida e ridurre lo sforzo necessario per condurre un veicolo. Sebbene diverse soluzioni siano state adottate nel mercato automobilistico, sistemi specifici per le moto sono raramente presi in considerazione, nonostante i possibili benefici riguardanti la sicurezza. È in questo contesto che abbiamo modellato e implementato un sistema anticollisione che determina se il veicolo che ci precede possa essere pericoloso per il motociclista. In particolare, è stato adottato un approccio che ricava le informazioni richieste analizzando le immagini ottenute da una telecamera collocata nella parte anteriore della moto. I veicoli sono individuati e tracciati in ogni frame e viene selezionato quello appartenente alla stessa corsia della moto analizzando la struttura 3D della strada ottenuta dopo aver identificato le corsie. Il modello 3D della strada viene ulteriormente utilizzato per stimare la distanza tra i veicoli e la moto. Inoltre, le luci laterali e quella superiore vengono identificate e classificate per determinare lo stato di frenata del veicolo. Infine, tutte le informazioni calcolate nei passaggi precedenti sono interpretate per generare degli allarmi qualora il conducente si trovi in una situazione di potenziale pericolo. Tra le operazioni precedentemente effettuate, il contributo più innovativo di questo studio riguarda l'adattamento per le moto degli algoritmi specifici per automobili. In questa situazione, differentemente dalle altre categorie di veicoli, è fondamentale considerare l'angolo di rollio. In particolare, è stato definito un modello 3D della strada in modo da rendere l'algoritmo robusto in situazioni in cui l'angolo di rollio non è trascurabile. Questa rappresentazione viene usata in un filtro di Kalman esteso per tracciare le corsie nel tempo. Un altro contributo di questo progetto consiste nella realizzazione di un nuovo approccio per identificare le luci di frenata e determinarne il loro stato utilizzando anche informazioni riguardanti le condizioni di illuminazione dell'ambiente circostante.