Realistic adversarial attacks against traffic sign recognition systems using stickers and graffiti

Traffic sign recognition systems are important driving aids in modern cars. They are based on Convolutional Neural Networks, algorithms that are able to identify the position and type of a signal, if present, in an image. To do so, they are trained on images containing the signals, on which they learn their characteristics. Although these solutions are fast and effective, they present some critical issues in their application to reality; in fact, the images on which they are trained mostly contain clear signs, that do not correspond to road signs along the streets that are often tampered with or corroded by time. In our research, to target these vulnerabilities and confuse these systems, we design an algorithm which, given a road sign, provides a series of disturbances to be stuck on it in specific positions, in the form of stickers and/or graffiti. Previous studies already perform similar attacks; however, the majority do not test them with commercial vehicles. Moreover, their results do not seem consistent with the tampered signs that can actually be found in the streets, and are hard to be physically reproduced. To overcome such shortcomings, the approach we adopt considers different scenarios and perspectives simulated digitally, and employs different neural networks characterised by heterogeneous structures; this favours its applicability to commercial vehicles, whose systems are unknown and inaccessible. Moreover, our attack uses realistic stickers and graffiti, that are just printed and pasted on the original signs, in order to emulate real situations and limit the risk that road users recognise such alterations as attacks. We run 3 typologies of attacks on 12 signals, with appreciable results in digital scenarios. The most significant ones are also tried in real scenarios, using 3 different commercial vehicles provided with TSR. For 3 attacked signals, cars’ TSR systems fail, by not indicating any sign or an incorrect one; this confirms that our attack is feasible and can have serious and harmful consequences for humans.

I sistemi di riconoscimento dei segnali stradali sono importanti ausili alla guida nelle auto moderne. Si basano su reti neurali convoluzionali, algoritmi in grado di identificare l’eventuale presenza di un segnale all’interno di un’immagine, rivelandone il tipo e la posizione. Per farlo, tali algoritmi sono addestrati su immagini contenenti i segnali, grazie alle quali ne imparano le caratteristiche. Pur essendo soluzioni veloci ed efficaci, questi sistemi presentano alcune criticità quando applicati nella realtà: sono addestrati, infatti, su immagini contenenti prevalentemente segnali puliti, diversamente da quelli presenti lungo le strade che, spesso, sono manomessi o corrosi dal tempo. In questa ricerca, abbiamo progettato un attacco che, allo scopo di confondere di proposito tali sistemi, identifica, dato un segnale stradale, una serie di disturbi da applicarvi in specifiche posizioni, sotto forma di adesivi e/o graffiti. Studi precedenti conducono attacchi simili ma, per la maggior parte, senza effettuare test con veicoli commerciali; inoltre, spesso tali ricerche utilizzano perturbazioni che si discostano troppo da quelle effettivamente riscontrabili lungo le strade e che, nella pratica, sono difficili da replicare. Per superare tali carenze, l’approccio qui adottato prende in considerazione diversi scenari e prospettive simulati digitalmente e impiega diverse reti neurali caratterizzate da strutture eterogenee; ciò ne favorisce l’applicabilità ai veicoli commerciali, i cui sistemi sono sconosciuti e inaccessibili. Inoltre, gli adesivi e i graffiti utilizzati sono realistici, semplicemente stampati e incollati sui cartelli originali, per riprodurre le situazioni reali e limitare il rischio di essere riconosciuti come attacchi. Proponiamo 3 tipologie di attacchi su 12 segnali, con risultati notevoli negli scenari digitali. I più significativi di questi sono stati testati anche in scenari reali, con 3 diversi veicoli commerciali: 3 attacchi hanno indotto i loro sistemi di riconoscimento ad indicare un segnale errato o a non individuarne alcuno. Ciò conferma la praticabilità dell’attacco, che può quindi avere conseguenze dannose per gli esseri umani.