Development of a perception system for autonomous vehicles on urban roads

In the past decade, there has been significant progress in the development of autonomous vehicles (AVs), driven by extensive research and industry efforts. This is because autonomous vehicles promise transformative benefits, such as reduced vehicle ownership, increased utilization, and substantial safety and environmental improvements. By potentially replacing multiple conventional vehicles, AVs can alleviate parking demand and enhance road safety through reduced traffic conflicts and accidents. Furthermore, they contribute to environmental sustainability by optimizing traffic management and decreasing fuel consumption. Central to these advancements is the development of effective perception algorithms, which are crucial for enabling AVs to navigate complex environments safely and efficiently. These algorithms must accurately interpret data from various sensors, such as cameras, LiDAR, and radar, solving several key tasks to make real-time decisions in dynamic urban settings. Specifically, a perception system for autonomous vehicles must identify and classify various objects such as vehicles, pedestrians, cyclists, traffic signals, traffic lights and other relevant objects on the road; it must continuously track the movement of detected objects over time to predict their positions and future movements; and it must also identify the drivable areas and lane markings on the road to determine where the vehicle can safely travel. In this context, this research introduces a comprehensive perception system designed to enhance AV capabilities. The system includes an advanced camera-LiDAR neural network for real-time 3D object detection, a versatile multi-object tracking (MOT) framework that operates in both single-modality and multi-modality configurations, and an innovative algorithm for Bird's Eye View (BEV) semantic mapping. Additionally, a multi-task neural network is developed for real-time segmentation of drivable areas and road lines.

Nell'ultimo decennio si sono registrati notevoli progressi nello sviluppo dei veicoli autonomi (AV), grazie a un'intensa attività di ricerca e all'impegno dell'industria. Ciò è dovuto al fatto che i veicoli autonomi promettono vantaggi trasformativi, come la riduzione della proprietà dei veicoli, l'aumento dell'utilizzo e sostanziali miglioramenti della sicurezza e dell'ambiente. Sostituendo potenzialmente più veicoli convenzionali, i veicoli autonomi possono alleviare la domanda di parcheggio e migliorare la sicurezza stradale riducendo i conflitti di traffico e gli incidenti. Inoltre, contribuiscono alla sostenibilità ambientale ottimizzando la gestione del traffico e riducendo il consumo di carburante. Al centro di questi progressi c'è lo sviluppo di algoritmi di percezione efficaci, fondamentali per consentire agli AV di navigare in ambienti complessi in modo sicuro ed efficiente. Questi algoritmi devono interpretare accuratamente i dati provenienti da vari sensori, come telecamere, LiDAR e radar, risolvendo diversi compiti chiave per prendere decisioni in tempo reale in ambienti urbani dinamici. In particolare, un sistema di percezione per veicoli autonomi deve identificare e classificare vari oggetti come veicoli, pedoni, ciclisti, segnali stradali, semafori e altri oggetti rilevanti sulla strada; deve tracciare continuamente il movimento degli oggetti rilevati nel tempo per prevedere le loro posizioni e i loro movimenti futuri; deve inoltre identificare le aree percorribili e la segnaletica delle corsie sulla strada per determinare dove il veicolo può viaggiare in sicurezza. In questo contesto, la presente ricerca introduce un sistema di percezione completo progettato per migliorare le capacità AV. Il sistema comprende una rete neurale avanzata telecamera-LiDAR per il rilevamento di oggetti 3D in tempo reale, una struttura versatile per il tracciamento di oggetti multipli (MOT) che opera in configurazioni sia a modalità singola che a modalità multipla e un algoritmo innovativo per la mappatura semantica di Bird's Eye View (BEV). Inoltre, è stata sviluppata una rete neurale multi-task per la segmentazione in tempo reale delle aree percorribili e delle linee stradali.