Multiple object tracking fusing multi-sensor detections

Multiple object tracking involves using sensor data to detect, identify, and estimate the state of one or more objects in a given sequence of frames. This field is gaining increasing interest in academic and industrial fields due to the growing need for tracking systems in contexts such as autonomous vehicles, robotics, surveillance, and telecommunications. In future 6G mobile networks, for example, multiple object tracking plays a crucial role in multicast systems, where it is necessary to identify and locate users connected to the radio station, to monitor the presence of any obstacle possibly affecting the signal quality. In these contexts, the tracker is stationary with respect to the scene being monitored. The aim of this thesis is to explore new techniques based on multiple sensors, leveraging the performance of new object detection algorithms. The use of such mechanisms greatly assists in the initialization and correction procedure of estimated trajectories. During the conducted work, we started from a state-of-the-art 3D tracking algorithm called EagerMOT. This solution utilizes data provided by a camera-based object detector to maintain the identification of objects tracked from LiDAR data. One of the primary contributions of this work is the introduction of radar imaging-based detection in this tracking process to achieve more accurate results. We tested different configurations of LiDAR, camera, and radar, and the results highlighted several interesting aspects and some limitations of these approaches. EagerMOT, in fact, uses a complex association system and is unable to provide precise 3D object localization when LiDAR detections are not available. From these assumptions, we developed a flexible, lightweight, and efficient system that enables asynchronous tracking of multiple objects without the use of complicated association mechanisms. Our solution effectively utilizes camera data to continue estimating the trajectories of tracked objects in 3D, even in the absence of LiDAR detections. Several tests have demonstrated the ability of our framework to sustain the temporary absence of information from the LiDAR sensor while still providing an accurate estimation of the trajectories and dimensions of the tracked objects.

Il tracciamento di oggetti multipli consiste nell’utilizzare dati provenienti da sensori per rilevare, identificare e stimare lo stato di uno o più oggetti presenti in una determinata sequenza di frame. Questo campo sta guadagnando sempre più interesse in ambito accademico e industriale per la crescente necessità di utilizzare sistemi di tracciamento in contesti come veicoli a guida autonoma, sistemi robotici, di sorveglianza e telecomunicazioni. Per affrontare le sfide imposte dal 6G, per esempio, il tracciamento di oggetti multipli gioca un ruolo fondamentale all’interno di sistemi multicast, dove è necessario identificare e localizzare utenti connessi alla stazione radio per monitorare la presenza di eventuali ostacoli alla qualità del segnale. In questi contesti, il sistema di tracciamento è fisso rispetto alla scena da monitorare. Lo scopo di questa tesi è quello di esplorare nuove tecniche basate su sensori multipli, sfruttando le potenzialità di algoritmi basati su reti neurali per il riconoscimento di oggetti. L’utilizzo di tali meccanismi aiuta notevolmente la procedura di inizializzazione e correzione delle traiettorie stimate. Durante il lavoro svolto, siamo partiti da un efficace sistema di tracciamento 3D, chiamato EagerMOT. Questa soluzione utilizza i dati forniti da un algoritmo di riconoscimento su camera, per mantenere l’identificazione di oggetti tracciati a partire da dati LiDAR. Uno dei primi contributi di questo lavoro è l’introduzione all’interno di EagerMOT, di un sistema di riconoscimento basato su immagini radar per ottenere risultati più accurati nel processo di tracciamento. Sono state testate diverse configurazioni di LiDAR, camera e radar e i risultati hanno messo in evidenza diversi aspetti interessanti e alcuni limiti di questi approcci. EagerMOT infatti utilizza un sistema di associazione complesso e non è in grado di fornire una localizzazione precisa degli oggetti in 3D quando i dati LiDAR non sono disponibili. Siamo partiti da queste basi per sviluppare un sistema flessibile, snello ed efficiente per permettere il tracciamento di oggetti multipli in maniera asincrona e senza l’utilizzo di complicati meccanismi di associazione. La nostra soluzione sfrutta concretamente i dati da camera per continuare a stimare le traiettorie di oggetti tracciati in 3D, anche in assenza di rilevazioni LiDAR. Da diversi test è emersa la capacità di questo sistema di sostenere l’assenza di informazioni, da questo sensore per diversi secondi, continuando a fornire una stima precisa delle traiettorie e delle dimensioni degli oggetti tracciati.