Prompting Gaza: esplorare i meccanismi di moderazione e rappresentazione di temi controversi nei modelli per la generazione di immagini IA

In recent years, Artificial Intelligence (AI) tools for image generation have become increasingly significant and have gradually entered creative, design, and professional workflows. However, the growing adoption of these systems raises important questions about how images are created, the rules that guide their generation, and the role of platforms in determining what can or cannot be represented. The experiment analyzes the behavior of four text-to-image models in relation to a controversial and internationally debated topic: Gaza and the Palestinian context. Using a set of 49 prompts, then modified through various rewriting strategies inspired by jailbreaking practices, the study explores how the models respond to specific requests, either by generating images or by refusing them. The aim is to identify possible moderation mechanisms that are usually hidden from users. Starting from controversies surrounding Gaza in the media and on social networks, the research uses the Palestinian context as a case study to investigate how text-to-image AI systems handle politically and culturally sensitive topic. Particular attention is given not only to the visual outputs of the models, but especially to the different types of refusals they produce, as these can provide valuable insights about the systems rules and limitations. Although some similarities emerge, the results reveal significant differences between the models. Restrictions are not applied evenly, and similar prompts can receive different treatments, showing different levels of sensitivity and inconsistent moderation. In addition, the models tend to favor symbolic and generic representations over realistic images or representations that reflect contemporary events. The methodology is based on prompt design practices to contribute to the critical analysis of text-to-image systems. Prompting is used not only to generate images, but also to observe the mechanisms that regulate these systems. The goal of this thesis is to contribute to a more critical understanding of text-to-image technologies by highlighting their implications for communication design and the critical role that designers should play in the process of creating visual representations through Artificial Intelligence.

Negli ultimi anni gli strumenti di Intelligenza Artificiale (IA) per la generazione di immagini hanno assunto sempre più rilevanza, sono progressivamente entrati nei processi creativi, progettuali e professionali. La diffusione di questi sistemi solleva tuttavia dei quesiti rispetto alle modalità con cui le immagini vengono prodotte, i criteri che regolano la generazione e il ruolo delle piattaforme nella definizione di ciò che può o non può essere rappresentato. L’esperimento condotto analizza il comportamento di quattro modelli text-to-image rispetto a un tema controverso e dibattuto a livello internazionale: Gaza e il contesto palestinese. Attraverso una raccolta di 49 prompt, poi sottoposti a diverse strategie di riscrittura ispirate alle pratiche del jailbreaking, la ricerca osserva come i modelli generano o rifiutano determinate richieste, con l’obiettivo di far emergere possibili logiche di moderazione normalmente opache all’utente. Partendo dalle controversie legate alla rappresentazione di Gaza nei media e sui social network, la ricerca utilizza il contesto palestinese come caso studio per indagare il comportamento delle IA per la generazione di immagini rispetto a un tema politicamente e culturalmente sensibile. Anche se emergono delle tendenze comuni, i risultati evidenziano differenze significative tra i modelli. Le limitazioni non risultano applicate in modo uniforme e richieste simili possono ricevere trattamenti differenti, evidenziando diversi livelli di sensibilità e logiche di moderazione non sempre coerenti. Inoltre, emerge una tendenza a privilegiare rappresentazioni simboliche e generiche rispetto a immagini realistiche o consapevoli degli eventi contemporanei. La metodologia della ricerca si basa sulle pratiche di prompt design per contribuire all’analisi critica dei sistemi text-to-image. Viene quindi utilizzato il prompting non solo per produrre immagini, ma anche per osservare i meccanismi che regolano questi sistemi. L’obiettivo della tesi è contribuire a una comprensione più critica delle tecnologie text-to-image, evidenziandone le implicazioni per il design della comunicazione e il ruolo critico che il progettista deve assumere nei processi di creazione di rappresentazioni visive tramite l’Intelligenza Artificiale.