Benchmarking framework for the intrusion detection systems in controller area networks

As in many other ecosystems, in the transportation of persons or goods, the three basics goals of the journey are security, safety, and low costs. Modernizing the manner of traveling has forced the trade-off between the three goals to be challenging to achieve. The value of human lives is essential, so the terms of security and safety should have major significance, but the automotive market still requires vehicles to be affordable. The development of new functionalities and the increase of connectivity in the vehicle provoke an increase of the attack vectors, which enable attackers to access the vehicle's internal networks, and in particular, the Controller Area Network (CAN), where the majority of safety measures are connected. For this reason, researchers analyze the threats of the automotive world, and design new countermeasures for them. To ensure that such countermeasures are efficient, safe, and secure, they need to be carefully tested and analyzed. To aid researchers towards this objective, in this thesis we develop a framework to benchmark Intrusion Detection Systems (IDS) for CAN. We propose eight different IDS designs from the state of the art to test attacks against. Alongside, we designed a tool capable of synthesizing the majority of CAN attacks in the state of the art, and two further evasion attacks, in order to study their capability of bypassing the IDSs. To propose a benchmark of the capability of the IDSs, we built and test them against crafted attacks, and we compare their performance results. Our results highlight multiple insights on the capability of CAN IDSs and attacks, such as the stronger detection capability of IDSs that are based on time sequences and the effectiveness of the evasion attacks against part of the IDSs.

Come in molti altri contesti, nel trasporto di persone e beni vanno rispettati tre obiettivi fondamentali: sicurezza, safety e costi contenuti. La modernizzazione dei sistemi di trasporto rende difficile bilanciare il trade-off tra questi tre obiettivi. L'importanza delle vite umane a rischio è essenziale, quindi sicurezza e safety dovrebbero crescere di importanza. Ciononostante, il mercato dei veicoli richiede che questi siano convenienti da comprare. Lo sviluppo di nuove funzionalità e l'aumento della connettività tra i veicoli provoca un aumento dei vettori di attacco, che abilitano l'accesso alle reti interne del veicolo e in particolare alla Controller Area Network (CAN), alla quale sono collegati la maggioranza dei sistemi di safety. Per questo motivo, i ricercatori analizzano le minacce del mondo automotive e disegnano contromisure adatte. Per assicurare che tali contromisure siano efficaci e sicure, devono però prima essere accuratamente testate e analizzate. Per cooperare verso questo obiettivo, in questa tesi presentiamo un framework per fare benchmarking di Intrusion Detection Systems (IDS) per CAN. Proponiamo otto differenti design di IDS a partire dallo stato dell'arte, contro i quali testare attacchi. Allo stesso tempo abbiamo creato un tool per sintetizzare la maggioranza degli attacchi CAN nello stato dell'arte, e due attacchi evasivi con lo scopo di studiare la loro capacità di aggirare gli IDS. Per proporre un benchmark delle capacità degli IDS che abbiamo costruito, li testiamo contro degli attacchi prodotti tramite il nostro tool, e compariamo i loro risultati. I nostri test mettono in luce interessanti caratteristiche degli IDS e degli attacchi, quali per esempio le maggiori capacità di riconoscimento degli attacchi degli IDS basati su time sequences, e l'effettiva efficacia degli attacchi evasivi contro alcuni degli IDS prodotti.