Leveraging Large Language Models in italian political campaigns: ad generation, similarity analysis and ml classification

The rise of Large Language Models (LLMs) has revolutionized natural language processing and introduced new possibilities in various fields, including political communication. This thesis investigates the potential of LLMs, specifically Llama 3.1, in the context of Italian political campaigns. Leveraging a dataset of real political Facebook ads, the research addresses key questions regarding the effectiveness of LLMs in generating party-aligned advertisements and the impact of different prompting strategies on ad quality and diversity. Similarity analyses are conducted, supplemented by clustering methods, to evaluate the closeness and distinctiveness of both real and synthetic ads. Furthermore, the thesis develops and evaluates a suite of machine learning classifiers — including Siamese Neural Networks, Random Forest, and XGBoost models — to assess their efficacy in distinguishing between authentic and AI-generated advertisements and in accurately predicting party affiliations based on ad content. These results bring to light that the use of LLM in the political scenario — inclusive of the Italian one — is already realistic, and is able to both augment and challenge traditional political communication strategies.The findings also highlights the robustness of ML classifiers in analyzing and classifying generated ads, making them suitable for political advertising safeguard. By focusing on the Italian political landscape, this thesis fills a significant research gap and sets the stage for future research on responsible and ethical use of AI in political campaigns.

L'ascesa dei Large Language Models (LLM) ha rivoluzionato l'elaborazione del linguaggio naturale e ha introdotto nuove opportunità in vari campi, tra cui la comunicazione politica. Questa tesi indaga il potenziale degli LLM, in particolare di Llama 3.1, nel contesto delle campagne politiche italiane. Sfruttando un dataset di annunci politici reali su Facebook, la ricerca affronta questioni chiave riguardanti l'efficacia degli LLM nel generare annunci armonizzati ai vari partiti e l'impatto di diverse strategie di prompting sulla qualità e la diversità degli annunci. Sono condotte analisi di similarità, integrate da tecniche di clustering, per valutare la similitudine e la distintività degli annunci reali e sintetici. Inoltre, la tesi sviluppa e valuta una serie di classificatori machine learning - tra cui reti neurali siamesi, modelli Random Forest e XGBoost - per valutare la loro efficacia nel distinguere tra inserzioni reali e generate dall'IA e nel prevedere con precisione l'origine partitica in base al contenuto di un annuncio. Questi risultati mettono in luce che l'uso di LLM nello scenario politico - compreso quello italiano - è già realistico, ed è in grado sia di potenziare che di contrastare le tradizionali strategie di comunicazione politica. I risultati evidenziano anche la validità dei classificatori ML nell'analisi e nella classificazione degli annunci sintetici, rendendoli adatti alla salvaguardia della propaganda politica. Concentrandosi sul panorama politico italiano, questa tesi colma una significativa lacuna nella ricerca e pone le basi per future analisi sull'uso responsabile ed etico dell'IA nelle campagne politiche.