CANdemonium: an evaluation test bed for objective CAN intrusion detection systems benchmarking

The Controller Area Network (CAN) bus is a broadcast serial protocol that has become a universal standard in the automotive industry. Known for its reliability and fault tolerance in noisy environments, the CAN protocol lacks security measures. Due to constraints on message length, limited computational power in devices, and strict timing requirements, traditional cryptographic solutions to ensure message authentication and integrity cannot be employed without modifying the protocol itself. To address these security limitations, both research and industry efforts have increasingly focused on Intrusion Detection Systems (IDSs). Depending on their detection strategies, these IDSs analyze message content, statistical features, message frequency, or physical signal characteristics to detect anomalies. However, testing and validating IDS solutions on real vehicles is often impractical, as some attacks pose risks to passenger safety and could potentially damage the vehicle. Test beds offer a safer, controlled environment for evaluating IDS solutions, with the drawback of having a reduced number of Electronic Control Units (ECUs), limited interactivity, and not being able to replicate the real dynamics of automotive networks. This work aims to overcome these limitations by defining the requirements to deploy a test bed that closely replicates the structure and behavior of a real vehicle. The design of the CANdemonium test bed prototype is based on these requirements, offering a controlled yet realistic platform that replicates key aspects of in-vehicle communication. Evaluating IDSs within the same environment and under the same attack conditions, allows obtaining objective results that are directly comparable, ensuring a fair assessment of their performance. By facilitating consistent evaluation of detection methodologies, the CANdemonium test bed enables the benchmarking of different IDS solutions, serving as a reliable tool to enhance automotive cybersecurity.

Il Controller Area Network (CAN) bus è un protocollo seriale di tipo broadcast che è diventato uno standard universale nell'industria automobilistica. Conosciuto per la sua affidabilità e tolleranza in ambienti rumorosi, il protocollo CAN manca di misure di sicurezza. A causa delle limitazioni nella lunghezza dei messaggi, della limitata potenza computazionale dei dispositivi elettronici e degli stringenti vincoli temporali, le tradizionali soluzioni crittografiche per garantire autenticazione e integrità dei messaggi non possono essere implementate, a patto che non si modifichi il protocollo stesso. Per affrontare queste limitazioni, la ricerca e l’industria si stanno dirigendo sui sistemi di rilevamento delle intrusioni (IDS). A seconda della loro strategia di rilevamento, questi IDS analizzano il contenuto dei messaggi, le caratteristiche statistiche, la frequenza dei messaggi o le caratteristiche fisiche del segnale per rilevare anomalie. Tuttavia, testare e validare IDS su veicoli reali è spesso impraticabile, poiché alcuni attacchi comportano rischi per la sicurezza dei passeggeri e potrebbero potenzialmente danneggiare il veicolo. I banchi di prova offrono un ambiente controllato per testare gli IDS; di contro, hanno poche Unità di Controllo Elettroniche (ECU) rispetto a un veicolo reale, poca possibilità d'interazione e non replicano le reali dinamiche delle reti di comunicazione automobilistiche. Questo lavoro mira a superare queste limitazioni definendo i requisiti necessari per implementare un banco di prova che riproduca fedelmente la struttura e il comportamento di un veicolo reale. Il design del prototipo del banco di prova CANdemonium si basa su questi requisiti, offrendo una piattaforma controllata e realistica che replica gli aspetti chiave della comunicazione intraveicolare. Valutare gli IDS nel medesimo ambiente e nelle stesse condizioni di attacco consente di ottenere risultati oggettivi e direttamente comparabili, garantendo una valutazione equa delle loro prestazioni. Valutando differenti metodologie di rilevamento in maniera consistente, CANdemonium consente il benchmarking di diversi IDS, fungendo da strumento per migliorare la sicurezza informatica nel settore automobilistico.