Big Brother: a multi-sensor distributed object detection and tracking algorithm

Urban mobility is undergoing a paradigm shift due to increasing concerns about road safety, environmental impact, and traffic efficiency. Addressing these challenges, this thesis fosters the integration of autonomous vehicles into urban environments. Focusing on the concept of collaborative perception, the research introduces a novel solution, named "Big Brother", a distributed multi-object detection and tracking algorithm that can predict the 3D position and size of urban users and, leveraging Vehicle-to-Infrastructure (V2I) communication in smart cities, communicates them to autonomous vehicles in the area, empowering them to make informed decisions for navigation, accident prevention, and route optimization. The late fusion of 2D and 3D bounding boxes, facilitated by the parallelism between 3D box and ellipsoid, enables versatile integration of object detection algorithms and sensor fusion and the Extended Kalman Filter with dual states overcomes challenges of delayed information within a distributed system, ensuring high-speed execution. Implemented within the open-source Robot Operating System (ROS), the algorithm is rigorously tested in a custom simulation environment resembling the Politecnico di Milano Bovisa campus, using the CARLA simulator. The experiments demonstrate the algorithm's efficacy in dynamic scenarios, achieving high tracking precision across various sensor combinations. Furthermore, when compared to a single central station, the results demonstrate the benefits of a distributed multi-sensor acquisition system.

La mobilità urbana sta vivendo una trasformazione radicale, spinta dalle crescenti preoccupazioni per la sicurezza stradale, l'impatto ambientale e l'efficienza del traffico. Questo studio affronta queste sfide promuovendo l'integrazione dei veicoli autonomi nelle città. Concentrandosi sul concetto di percezione collaborativa, la ricerca presenta una soluzione innovativa, denominata "Big Brother", un algoritmo distribuito per il rilevamento e tracciamento di oggetti multipli che può prevedere la posizione tridimensionale e le dimensioni di pedoni e veicoli. Sfruttando la comunicazione 5G nelle smart cities, l'algoritmo può comunicare queste informazioni ai veicoli autonomi nella zona, consentendo loro di prendere decisioni informate per la navigazione, la prevenzione degli incidenti e l'ottimizzazione del percorso. La fusione tardiva di informazioni bidimensionali e tridimensionali, resa possibile da un parallelismo tra parallelepipedo ed ellissoide, consente un'integrazione flessibile degli algoritmi di rilevamento e la fusione di informazioni provenienti da diversi tipi di sensore. L'utilizzo di un filtro di Kalman esteso con doppio stato permette all'algoritmo di conservare il maggior numero di informazioni provenienti da diverse fonti con tempi sfalsati, problema che si verifica spesso all'interno di un sistema distribuito, garantendo allo stesso tempo un'alta velocità di esecuzione. Implementato all'interno del framework open-source Robot Operating System (ROS), l'algoritmo è stato rigorosamente testato in un ambiente di simulazione personalizzato, ispirato al campus di Bovisa del Politecnico di Milano, utilizzando il simulatore CARLA. Gli esperimenti dimostrano l'efficacia dell'algoritmo in scenari dinamici, ottenendo un'elevata precisione di tracciamento attraverso varie combinazioni di sensori. Inoltre, i risultati evidenziano i vantaggi di un sistema di acquisizione multisensore distribuito rispetto a una singola stazione di acquisizione centrale.