An appealing adversarial attack for human detection networks

In the last years, Machine Learning has continuously improved reaching the point where it has found application in many real-life tasks. Due to this, Adversarial attacks in Machine Learning have emerged as a critical challenge, threatening the reliability and security of various AI systems. These attacks, characterized by subtle modifications to input data that can deceive Machine Learning models, have raised significant concerns across diverse domains, including image recognition, natural language processing, autonomous vehicles, and cybersecurity. In this work we will provide a parametric deployable adversarial attack that is able to fool an object detector when applied to human subjects. This means that the attack prevents a system that should detect people, like a surveillance camera, to correctly detect them. Most deployable adversarial attacks may be undetectable by Machine Learning systems, but they are clearly noticeable by human eyes. For this reason, our work focuses on the generation of an appealing attack, which is hardly noticeable by a human observer. To this aim, we present two methods which generates appealing color palettes exploiting color theory basis, so that the result is an aesthetically pleasing attack to be applied on t-shirts.

Negli ultimi anni, il Machine learning ha continuamente migliorato le proprie capacità, arrivando al punto di trovare applicazione in molte attività della vita reale. Per questo motivo, gli attacchi avversari nel Machine Learning sono emersi come una sfida critica, minacciando l’affidabilità e la sicurezza di vari sistemi di Intelligenza Artificiale. Questi attacchi, caratterizzati da lievi modifiche ai dati in input che possono ingannare i modelli di Machine Learning, hanno sollevato preoccupazioni significative in diversi ambiti, tra cui il riconoscimento delle immagini, l’elaborazione del linguaggio naturale, i veicoli autonomi e la sicurezza informatica. In questa tesi, forniremo un attacco avversario parametrico deployable in grado di ingannare un object detector quando applicato a soggetti umani. Ciò significa che l’attacco impedisce a un sistema che dovrebbe rilevare le persone, come una telecamera di sorveglianza, di identificarle correttamente. La maggior parte degli attacchi avversari deployable rimane inosservata ai sistemi di Machine Learning, ma è chiaramente visibile agli occhi umani. Per questo motivo, il nostro lavoro si concentra sulla generazione di un attacco accattivante, difficilmente percepibile da un osservatore umano. A questo scopo presentiamo due metodi che generano patch accattuvanti con palette di colori che sfruttano le basi della teoria del colore, in modo che il risultato sia un attacco esteticamente gradevole da applicare su delle magliette.