Model based latency compensation for AR visualization in automotive application

This thesis presents a novel algorithm for overcoming the delay between data acquisition and image projection in a system that projects useful information onto the windshield of a car. The algorithm has been designed to predict the future position of the vehicle, so that this information can be utilized to calculate projected images in advance, providing the driver with images perceived in real-time. The proposed approach is based on the Model Predictive Control (MPC) framework, which is widely used in the automotive industry for controlling the behavior of a vehicle. The methodology used to develop and test the algorithm is described in detail, including the mathematical models used for the vehicle dynamics and the software tools used to implement the MPC framework. The optimization formula used to compensate for the delay is also discussed, which includes the minimization of lateral error and heading error, and the use of a pre-recorded trajectory of a professional driver as the target. Experimental results show that the proposed algorithm can effectively compensate for the delay between data acquisition and image projection, and accurately predict the trajectory of the vehicle. The accuracy of the predictions was evaluated using experimental data collected from sessions on the company’s simulator. Beyond racing applications, this algorithm showcases its versatility by excelling under extended prediction horizons and functioning efficiently with reduced input data. Notably, its potential extends to enhancing driver safety, as it can anticipate and prevent hazardous situations by analyzing driver inputs and vehicle conditions over time. This capability has the potential to revolutionize Advanced Driver Assistance Systems (ADAS) and autonomous driving technologies. In summary, this thesis not only presents an innovative algorithm but also reshapes the landscape of human-machine integration in driving. It represents a significant step toward safer, more efficient, and engaging driving experiences, with applications spanning racing, everyday driving, vehicle safety, autonomous driving, and navigation systems.

La tesi presenta un algoritmo innovativo volto a risolvere il ritardo presente tra l'acquisizione dei dati e la proiezione delle immagini nei veicoli che dispongono di un parabrezza interattivo. L'algoritmo è stato progettato per predire la futura posizione del veicolo, così che questa informazione possa essere sfruttata per calcolare anticipatamente le immagini da proiettare e fornire al pilota immagini percepite sempre in tempo reale. L'approccio proposto si basa sul controllore MPC (Model Predictive Controller), largamente impiegato nell'industria automobilistica per il controllo dei veicoli. La metodologia impiegata per lo sviluppo e test dell'algoritmo è descritta in dettaglio, includendo i modelli matematici utilizzati per descrivere la dinamica del veicolo così come i software e pacchetti per implementare il controllore MPC. La funzione di costo è accuratamente descritta e prevede l'impiego della minimizzazione dell'errore laterale e dell'errore di orientamento rispetto ad una traiettoria ideale preregistrata da un pilota professionista. I risultati sperimentali hanno dimostrato il completo funzionamento dell'algoritmo per compensare il ritardo tra l'acquisizione dei dati e la proiezione dell'immagine. L'accuratezza dell'algoritmo è stata verificata grazie all'analisi dei dati raccolti presso il simulatore presente in azienda. Oltre alle applicazione legate al mondo delle corse, l'algoritmo si è dimostrato estremamente versatile anche in condizioni di orizzonte di predizione maggiore e un numero minore di dati in ingresso. In particolare, il potenziale si estende all'ambito di sicurezza alla guida, dove l'algoritmo ha dimostrato di poter essere sfruttato per anticipare e prevenire situazioni di pericolo. Questo permette innovare completamente i sistemi ADAS (Advanced Driver Assistance Systems), anticipando il loro intervento e rendendoli proattivi. In sintesi, la tesi non presenta solo un algoritmo innovativo per ridefinisce il panorama relativo integrazione umano-veicolo nella guida. Rappresenta un significativo passo in avanti per un ambiente di guida più sicuro, efficiente e divertente con applicazioni che spaziano dalla guida sportiva a quella quotidiana e dagli aspetti legati alla guida autonoma, sistemi di navigazione e sicurezza alla guida.