Multi-object detection and tracking based on fully convolutional neural network

Multi-object tracking is a crucial link in the perception task of autonomous vehicles. Real-time and accurate multi-object tracking algorithm can provide the control unit of an autonomous vehicle with a high-confidence reference in time to ensure the driving safety. This article is dedicated to achieving the balance between object detection accuracy and algorithm complexity, as well as the balance between object tracking accuracy and algorithm complexity, with the aim of minimizing the inference time of object detection and tracking algorithms while ensuring relatively high detection and tracking accuracy. In this paper, based on the high-precision point cloud data generated by LiDAR, two real-time projection-based 3D object detection algorithms are introduced and implemented first: one is based on fully convolutional neural network and the other one is based on geometrical and morphological operations. Both two algorithms achieve the balance between object detection accuracy and algorithm complexity through particular projection operations. Secondly, this paper proposes and implements an improved version of the simple online and real-time tracking algorithm. The new version is named as SORT+ whose running speed reaches 940.5 Hz. Finally, this paper forms the final multi-object tracking system by fusing a 2D object detection algorithm with SORT+, and running speed of the whole system reaches 34Hz.

Il tracciamento di oggetti multipli è un collegamento cruciale nel compito di percezione dei veicoli autonomi. L'algoritmo di tracciamento multi-oggetto accurato e in tempo reale può fornire all'unità di controllo di un veicolo autonomo un riferimento ad alta fiducia nel tempo per garantire la sicurezza di guida. Questo documento è dedicato a raggiungere l'equilibrio tra l'accuratezza del rilevamento degli oggetti e la complessità dell'algoritmo, nonché l'equilibrio tra l'accuratezza del tracciamento degli oggetti e la complessità dell'algoritmo, con l'obiettivo di ridurre al minimo il tempo di inferenza degli algoritmi di rilevamento e tracciamento degli oggetti, garantendo al contempo rilevamento e tracciamento relativamente elevati precisione. In questo documento, sulla base dei dati della nuvola di punti ad alta precisione generati da LiDAR, vengono introdotti e implementati per primi due algoritmi di rilevamento di oggetti 3D basati sulla proiezione in tempo reale: uno è basato su rete neurale completamente convolutiva e l'altro è basato su operazioni geometriche e morfologiche. Entrambi i due algoritmi raggiungono l'equilibrio tra la precisione del rilevamento degli oggetti e la complessità dell'algoritmo attraverso particolari operazioni di proiezione. In secondo luogo, questo documento propone e implementa una versione migliorata del semplice algoritmo di tracciamento online e in tempo reale. La nuova versione è denominata SORT+ la cui velocità di marcia raggiunge i 940,5 Hz. Infine, questo documento costituisce il sistema di tracciamento multi-oggetto finale fondendo un algoritmo di rilevamento di oggetti 2D con SORT+, la velocità di esecuzione dell'intero sistema raggiunge i 34Hz.