Roadside camera scheduling for vehicle self-localization : algorithm and experimental validation

Connected and automated mobility increasingly relies on accurate and robust vehicle localization. In this context, roadside cameras can provide valuable external information by observing the vehicle from fixed and calibrated viewpoints. However, visual measurements are indirect, uncertain and time-varying: their quality depends on camera geometry, visibility conditions and image-processing reliability. Moreover, in a multi-camera infrastructure, processing all available video streams at every time step may be computationally impractical, since each frame requires detection, pose extraction and filtering operations. Therefore, when several cameras are available, it becomes necessary to decide which visual source should be processed and when. This thesis addresses infrastructure-assisted vehicle localization using roadside cameras and an Extended Kalman Filter. A simulation framework is first developed, where a planar vehicle model, calibrated camera models and visual measurements generated from projected landmarks are combined within an EKF-based estimator. A covariance-based camera selection strategy is adopted to choose, at each time step, the camera expected to provide the largest reduction of localization uncertainty. The framework is then validated using real video data acquired from two roadside units in a controlled urban-like scenario. In this case, visual measurements are extracted from image frames through vehicle detection, silhouette extraction, PCA-based orientation estimation and geometric reconstruction. The results show that the EKF can reconstruct the main evolution of the vehicle pose, while highlighting the additional uncertainty introduced by real image processing. The main contribution of the thesis is the extension of the framework to delayed camera polling. Since image processing requires time, camera measurements are not assumed to be immediately available. An extended-state EKF is introduced to incorporate delayed measurements by updating past states and propagating their effect to the current estimate. A receding-horizon scheduling strategy is then used to plan camera requests by minimizing the cumulative covariance trace. Simulation and real-video results show that the proposed approach can account for processing delays while preserving the benefits of infrastructure-assisted localization. Short and medium prediction horizons provide a practical compromise between estimation performance and computational cost, whereas longer horizons offer limited additional improvement with significantly higher computational burden.

L’evoluzione verso sistemi di mobilità connessi e automatizzati richiede metodi di localizzazione del veicolo sempre più accurati e affidabili. In questo contesto, le telecamere stradali possono fornire informazioni esterne utili, osservando il veicolo da punti di vista fissi e calibrati. Tuttavia, le misure visive sono indirette, incerte e variabili nel tempo: la loro qualità dipende dalla geometria della camera, dalle condizioni di visibilità e dall’affidabilità dell’elaborazione delle immagini. Inoltre, in un’infrastruttura multi-camera, elaborare le immagini provenienti da tutte le telecamere a ogni istante può non essere praticabile dal punto di vista computazionale, poiché ciascun frame richiede operazioni di rilevamento, estrazione della posa e aggiornamento del filtro. Di conseguenza, quando sono disponibili più telecamere, diventa necessario decidere quale telecamera utilizzare e in quale istante. Questa tesi affronta il problema della localizzazione del veicolo mediante telecamere stradali, adottando un approccio basato su filtro di Kalman esteso. In primo luogo, viene sviluppato un framework simulativo in cui un modello planare del veicolo, modelli di camera calibrati e misure visive generate dalla proiezione di landmark sono integrati all’interno di uno stimatore EKF. Una strategia di selezione delle camere basata sulla covarianza viene adottata per scegliere, a ogni istante, la camera attesa che fornisce la maggiore riduzione dell’incertezza di localizzazione. Il framework viene poi validato utilizzando dati video reali acquisiti da due telecamere stradali in uno scenario controllato di tipo urbano. In questo caso, le misure visive sono ricavate dai frame attraverso una pipeline di elaborazione delle immagini che include rilevamento del veicolo, estrazione della silhouette, stima dell’orientamento tramite PCA e ricostruzione geometrica. I risultati mostrano che l’EKF è in grado di ricostruire l’evoluzione principale della posa del veicolo, evidenziando al tempo stesso l’incertezza aggiuntiva introdotta dall’elaborazione di immagini reali. Il contributo principale della tesi consiste nell’estensione del framework al problema della schedulazione delle richieste alle telecamere in presenza di ritardi di elaborazione. Poiché l’elaborazione delle immagini richiede tempo, le misure delle telecamere non vengono assunte immediatamente disponibili. Viene quindi introdotto un EKF a stato esteso, che permette di incorporare misure soggette a ritardo aggiornando stati passati e propagandone l’effetto alla stima corrente. Una strategia di schedulazione a orizzonte mobile viene poi utilizzata per pianificare le richieste alle telecamere minimizzando la traccia cumulativa della covarianza. I risultati simulativi e su dati video reali mostrano che l’approccio proposto è in grado di tenere conto dei ritardi di processamento preservando i benefici della localizzazione. Orizzonti di predizione brevi e medi forniscono un compromesso pratico tra prestazioni di stima e costo computazionale, mentre orizzonti più lunghi offrono miglioramenti limitati a fronte di un carico computazionale significativamente maggiore.