SeTiSC: seamlessly tiled style-constrained deployable adversarial attack to garments against human detection

An Adversarial Attack (AA) against an object detector aims to impair its ability to recognize objects by perturbing its input, leading to misclassification or detection failure. AAs targeting person detectors are particularly important, as they can impact critical applications in both positive and negative ways. For example, they can be used to evade unwanted surveillance, yet they can also jeopardize safety in autonomous driving systems. Although many existing AA to person detectors achieve strong adversarial performance by modifying clothing to hide individuals, they often neglect visual appeal and physical deployability. In fact, a trade-off exists between adversariality and practical requirements such as printability or other aesthetic constraints, as these factors frequently compete with each other during the design and optimization of an attack. We propose SeTiSC: Seamlessly Tiled Style-Constrained, a physically deployable AA designed for upper-body clothing and dresses that effectively hides persons from object detectors. Our approach balances adversarial performance with novel aesthetic constraints by employing a randomized patch tiling process that produces smooth, geometrically interesting perturbations. Tailored loss functions further guide the optimization to satisfy objectives related to adversariality, deployability, and style. Experimental results demonstrate that SeTiSC achieves competitive performance compared to existing methods while meeting stricter optimization and deployment requirements.

Un Attacco Avversario (AA) a un object detector mira a comprometterne la capacità di riconoscere gli oggetti perturbandone l’input, causando classificazioni errate o un completo fallimento nella rilevazione. Gli AA rivolti ai rilevatori di persone sono particolarmente importanti, in quanto possono influenzare applicazioni critiche sia in modo positivo sia in modo negativo. Ad esempio, possono essere utilizzati per eludere la sorveglianza indesiderata, ma possono anche compromettere la sicurezza di sistemi di guida autonoma. Sebbene molti metodi esistenti raggiungano elevate prestazioni avversarie intervenendo sui capi di abbigliamento per nascondere gli indossatori, spesso trascurano l’aspetto visivo e l’effettiva realizzabilità delle perturbazioni al di fuori del mondo digitale. Esiste infatti un compromesso tra prestazioni avversarie e requisiti pratici, come la possibilità di realizzare la perturbazione nel mondo reale, o altri vincoli estetici, poiché tali fattori competono tra loro e con la ricerca dell’avversarietà durante la progettazione e l’ottimizzazione di un attacco. Proponiamo SeTiSC: Seamlessly Tiled Style-Constrained, un attacco avversario fisicamente realizzabile, in grado di nascondere efficacemente le persone dai rilevatori di oggetti agendo sull’abbigliamento della parte superiore del corpo e sugli abiti. Il nostro approccio bilancia le prestazioni avversarie con nuovi vincoli estetici, sfruttando un processo di tiling casuale che genera perturbazioni geometricamente interessanti e coese. Funzioni di ottimizzazione personalizzate guidano ulteriormente la creazione delle perturbazioni affinché vengano soddisfatti obiettivi relativi all’avversarietà, alla realizzabilità al di fuori del mondo digitale e allo stile. I risultati sperimentali dimostrano che SeTiSC raggiunge prestazioni competitive rispetto ai metodi esistenti, rispettando al contempo requisiti di ottimizzazione più stringenti.