Test time augmentation for anomaly detection and domain adaptation in autonomous driving systems

Autonomous Driving Systems rely on deep learning models that are highly sensitive to distribution shifts, such as changes in lighting, weather, or unexpected road conditions, which can lead to hazardous prediction errors. This thesis introduces a novel framework that unifies runtime anomaly detection and domain adaptation using Test Time Augmentation. Our approach quantifies model uncertainty in real-time to reliably flag out-of-distribution scenarios. When a significant anomaly is detected, the augmentation process generates pseudo-labels that drive unsupervised test time training, allowing the model to adapt its parameters on the fly to new environmental conditions without human intervention. This adaptation minimizes computational overhead by updating the model only when needed, thereby preserving both performance and safety. Extensive experiments conducted with the NVIDIA DAVE-2 model in the Udacity Self-Driving Simulator demonstrate that our integrated framework significantly improves steering accuracy and reduces the incidence of critical errors under moderate distribution shifts. Overall, the proposed methodology provides a robust, efficient, and fully automated solution for enhancing Autonomous Driving Systems resilience in dynamic real-world environments, paving the way toward safer and more reliable autonomous vehicles.

I sistemi di guida autonoma si basano su modelli di deep learning che sono altamente sensibili a variazioni di distribuzione, come cambiamenti di illuminazione, condizioni meteorologiche o cambiamenti imprevisti nelle condizioni stradali, che possono causare errori di previsione pericolosi. Questa tesi presenta un nuovo framework che unifica a runtime il rilevamento delle anomalie e l'adattamento al dominio utilizzando Test Time Augmentation. Il nostro approccio quantifica in tempo reale l'incertezza del modello, permettendo di rilevare in modo affidabile scenari fuori distribuzione. Quando viene rilevata un'anomalia significativa, la tecnica di Test Time Augmentation genera pseudo-label che, utilizzate nell'allenamento a test time non supervisionato, consentono al modello di adattare i propri parametri alle nuove condizioni ambientali senza l'intervento umano. Questo adattamento riduce il sovraccarico computazionale, aggiornando il modello solo quando necessario, preservando così sia le prestazioni che la sicurezza. Gli esperimenti condotti nel simulatore di guida autonoma Udacity con il modello NVIDIA DAVE-2 mostrano che il nostro framework migliora significativamente l'accuratezza dell'angolo di sterzata e riduce l'incidenza di errori critici in presenza di cambiamenti di distribuzione moderati. Nel complesso, la metodologia proposta fornisce una soluzione robusta, efficiente e completamente automatizzata per migliorare la resilienza dei sistemi di guida autonoma in ambienti dinamici del mondo reale, aprendo la strada a veicoli autonomi più sicuri e affidabili.