RenderedAttack: a framework to evaluate the robustness of adversarial attacks to road sign classifiers

Adversarial Attacks that deceive Deep Learning models have recently been a topic of intense research interest. In particular, deployable adversarial attacks are considered a severe threat to real-world applications such as road sign classification in autonomous road cars. However, there are many factors that can influence the success of an attack, such as changes in environmental conditions. A rigorous evaluation methodology that identifies the most robust attacks would be a helpful tool for researchers to identify critical aspects and improve the reliability of the classifiers. Some methodologies for testing attacks on traffic signs in the physical world have been proposed. They mostly consist of field tests in which a camera moving toward the sign acquires photographs at regular intervals. However, due to the challenges arising from the variability in the real world, they remain quite limited. To overcome these difficulties, we propose RenderedAttack, a framework to evaluate the robustness of adversarial attacks to traffic sign classifiers using 3D rendering. The objec- tive is to bridge the gap between the digital and physical worlds and identify the critical aspects for the attacks. By using 3D rendering, RenderedAttack enables us to easily simu- late a large number of conditions and to apply variations in a measurable and repeatable manner. In our experimental evaluation, we test the robustness of Shadow Attack, which uses optimized shapes of shadows applied to road signs to deceive a classifier. We find that RenderedAttack provides a large amount of information about the robustness of the at- tack, in a way that isn’t possible to replicate in physical experiments.

Gli Attacchi Avversari ai modelli di Deep Learning sono recentemente diventati oggetto di intensa ricerca. In particolare, gli attacchi realizzabili nel mondo reale sono considerati una minaccia a diverse applicazioni tra cui la classifiazione di cartelli stradali nei veicoli autonomi. Ci sono però diversi fattori che possono influenzare il successo degli attacchi, tra cui i cambiamenti delle condizioni ambientali. Una rigorosa metodologia di valutazione che possa identificare gli attachi più robusti potrebbe rivelarsi un utile strumento per identi- ficare gli aspetti critici e migliorare l’affidabilità dei classificatori. Alcune metodologie per testare gli attachi nel mondo fisico sono state proposte. Sono per lo più basate su test sul campo in cui una fotocamera, muovendosi verso un cartello, ac- quisisce immagini ad intervalli regolari. Questi esperimenti sono però abbastanza limitati per via della variabilità che c’è nel mondo reale. Per superare queste difficoltà, proponiamo RenderedAttack, un framework per testare la robustezza degli attacchi usando rendering 3D. L’obiettivo è quello di colmare il divario che c’è tra il mondo digitale e quello fisico ed identificare gli aspetti critici per gli attacchi. Usando i rendering 3D, RenderedAttack ci permette di simulare facilmente una grande varietà di condizioni e applicare variazioni in modo misurabile e ripetibile. Nella nostra valutazione sperimentale, abbiamo misurato la robustezza di ShadowAt- tack, un attaco che usa ombre ottimizzate per ingannare un classificatore. Troviamo che RenderedAttack fornisce una grande quantità di informazioni riguardo la robustezza dell’attacco, con un dettaglio che non sarebbe possibile replicare con esperimenti fisici.