A hybrid model for pedestrian motion prediction

Research on autonomous vehicles (AVs) is one of the most active in the automotive industry. To achieve greater levels of automation, AVs need to be able to safely operate in any conditions. Urban roads are challenging domains to model due to the high number of moving entities and the difficulty in predicting pedestrian motion. Different kinds of pedestrian prediction models exist, but it is unclear whether they have the potential to be used for real-time prediction in an AV. A common practice for pedestrian trajectory prediction models is to evaluate the accuracy of the predictions offline on a standard sample of benchmark datasets, which data is collected on sidewalks and urban squares, and hardly represents their behavior in environments shared by pedestrians and vehicles. In this study, the types of pedestrian trajectories recorded on traditional datasets are compared to the ones recorded on more recent AV motion datasets. This analysis highlights the differences between the two kinds of datasets, especially in terms of the complexity of the trajectories, given by greater deviation from linear motion and speed variations. Hybrid models for motion prediction are systems that combine models of different natures and they have recently been proposed as a potentially better alternative to methods of one kind. A hybrid model for robust pedestrian motion prediction is presented. By exploiting the benefits of the constant velocity model and a neural network, the hybrid model is able to predict trajectories in situations of partially occluded view or sensor failures. The performance of the models on realistic, non-ideal data is often left behind. For example, on late detection or tracking failure. When using prediction models in real-time AV applications, their performance in non-ideal conditions is critical to ensure the safety of the AV and other traffic participants at all times. This is assessed by performing an offline robustness evaluation on different types of artificially altered data, simulating realistic prediction tasks. Finally, the deployment of prediction models on a vehicle and their usage in real-time have many added challenges. To understand the potential suitability of these models for real-time prediction, a framework for real-time in-vehicle prediction is presented and deployed on a test vehicle.

La ricerca sui veicoli autonomi (AV) è una delle più attive nel settore dell'automotive. Per raggiungere più alti livelli di automazione, i veicoli autonomi devono essere in grado di operare in sicurezza in qualsiasi condizione. Le strade urbane sono domini difficili da modellare a causa dell'elevato numero di entità in movimento e della difficoltà di prevedere il movimento dei pedoni. Esistono diversi tipi di modelli di previsione, ma non è chiaro se abbiano il potenziale per essere utilizzati in tempo reale in un AV. Una pratica comune per i modelli di previsione delle traiettorie dei pedoni è quella di valutare l'accuratezza delle previsioni in maniera offline su un campione standard di dataset, i cui dati sono raccolti su marciapiedi e piazze urbane, difficilmente rappresentanti il comportamento dei pedoni in ambienti condivisi con veicoli. In questo studio, i tipi di traiettorie dei pedoni presenti sui dataset tradizionali sono confrontati con quelli presenti sui più recenti AV motion dataset. L'analisi evidenzia le differenze tra i due tipi di dataset, soprattutto in termini di complessità delle traiettorie, data da una maggiore deviazione dal moto lineare e dalle variazioni di velocità. I modelli ibridi per la previsione delle traiettorie sono sistemi che combinano modelli di natura diversa e sono stati recentemente proposti come alternativa potenzialmente migliore ai metodi di un solo tipo. Viene presentato un modello ibrido per la previsione robusta delle traiettorie dei pedoni. Sfruttando i vantaggi del modello a velocità costante e di una rete neurale, il modello ibrido è in grado di prevedere le traiettorie in situazioni di vista parzialmente occlusa o di guasti ai sensori. Le prestazioni dei modelli su dati realistici e non ideali vengono spesso trascurate. Ad esempio, in caso di rilevamento tardivo o di errore di tracciamento. Quando si utilizzano modelli di previsione in applicazioni AV in tempo reale, le loro prestazioni in condizioni non ideali sono fondamentali per garantire la sicurezza dell'AV e degli altri utenti della strada in ogni momento. Questo aspetto viene valutato eseguendo una valutazione della robustezza offline su diversi tipi di dati artificialmente alterati, simulando situazioni realistiche. Infine, l'implementazione di modelli di previsione su un veicolo e il loro utilizzo in tempo reale comportano numerose sfide aggiuntive. Per comprendere la potenziale idoneità di questi modelli per la previsione in tempo reale, viene presentato un framework per la previsione in tempo reale a bordo di un veicolo e viene implementato su un veicolo di test.