A sensor Fault Detection and Diagnosis architecture for multi-modal autonomous vehicles: SENTINEL

Autonomous vehicles rely on multimodal perception to construct a reliable representation of the surrounding environment. While sensor fusion approaches provide robustness against environmental degradation, explicit mechanisms for sensor Fault Detection and Diagnosis (FDD) remain largely underexplored. This thesis addresses this gap by developing a systematic framework for fault-aware autonomous sensing across LiDAR, camera, and radar modalities, integrating degradation modeling, injection strategies, quantitative impact assessment on perception, and a unified multiclass FDD architecture. A set of sensor faults is identified from the literature and modeled within this work, then injected into the Boreas dataset with four severity levels to generate a large-scale labeled benchmark. The simulated faults are validated through their impact on perception tasks using state of the art detectors, confirming their physical realism and safety critical severity. Faults affecting geometric consistency emerge as the most disruptive, leading to severe degradation in detection performance. Building on these findings, SENTINEL is introduced as a novel XGBoost-based FDD architecture that processes modality-specific features independently for each sensor, without cross-sensor consistency checks. This design enables scalable deployment in tri-sensor, dual-sensor, or single-sensor configurations and supports diagnosis even under simultaneous failures. The model demonstrates strong multiclass diagnostic performance across all considered sensing modalities. Real-time feasibility is validated under Boreas acquisition rates, demonstrating the system’s ability to operate in real time. The comparison with an existing multisensor FDD study based on bounding box discrepancies highlights the limitations of this approach and confirms the need for richer sensor-level representations.

I veicoli autonomi si basano sulla percezione multimodale per costruire una rappresentazione affidabile dell’ambiente circostante. Sebbene i moderni approcci di sensor fusion garantiscano robustezza rispetto a degradazioni ambientali, meccanismi espliciti di Fault Detection and Diagnosis (FDD) dei sensori risultano largamente inesplorati. Questa tesi propone un framework per la perception nei sistemi di guida autonoma basata sui sensori LiDAR, camera e radar, integrando modellazione e iniezione dei guasti, analisi del loro impatto e un’architettura unificata di FDD multiclasse. I guasti, individuati in letteratura e formalmente modellati, sono iniettati nel dataset Boreas secondo quattro livelli di severità, generando un benchmark etichettato. La loro validazione avviene tramite un’analisi quantitativa dell’impatto sulla perception, condotta con detector allo stato dell’arte, che ne conferma il realismo fisico e la criticità in termini di degradazione delle prestazioni. I risultati evidenziano che i guasti che compromettono la coerenza geometrica risultano i più critici, determinando una marcata degradazione delle prestazioni. Sulla base di tali evidenze, viene proposto SENTINEL, un'architettura di FDD basata sul classificatore XGBoost, che elabora caratteristiche specifiche per ciascun sensore in modo indipendente e senza verifiche di coerenza tra sensori, risultando scalabile a configurazioni multisensore, duali o mono sensore e consentendo la diagnosi anche in presenza di guasti simultanei. Il sistema dimostra elevate capacità di riconoscimento dei guasti, ottenendo prestazioni solide per tutti i sensori considerati. La fattibilità in tempo reale è validata rispetto alle frequenze di acquisizione del dataset Boreas, dimostrando la capacità di operare in tempo reale. Il confronto con uno studio che affronta la FDD multisensore, basato sulla discrepanza tra bounding box, evidenzia i limiti di tale approccio e conferma la necessità di rappresentazioni più ricche a livello di sensore.