Simulating online social media conversations with AI agents calibrated on real-world data

Online social networks are often studied to analyze both individual and collective phenomena. In this context, simulators are widely used tools for exploring controlled scenarios. The integration of Large Language Models (LLMs) enables the creation of more realistic simulations, thanks to their ability to understand and generate content in natural language. This work investigates the behavior of LLM-based agents in a simulated social network. Agents are initialized with realistic profiles and are calibrated on real-world data, collected around the 2022 Italian political elections. An existing social media simulator is extended by introducing mechanisms for opinion modeling and misinformation generation. The aim is to examine how LLM agents simulate online conversations, interact, and evolve their opinions under different scenarios. Results show that LLM agents can generate coherent content and establish connections with other users, building a realistic social network structure. However, the tone of their generated contents is less heterogeneous than the one observed in real data, in terms of toxicity. The evolution of opinions assessed by LLMs evolves over time similarly to what is observed with traditional opinion models. The exposure to misinformation content has no significant impact, suggesting that LLMs need more careful cognitive modeling in the initialization phase, to better replicate human behavior. Another limitation of the study concerns the simulated time, which prevents from observing long-time effects such as the impact of the different recommendation algorithms. Overall, LLMs demonstrate potential as tools for simulating user behavior in social environments, but challenges remain in capturing heterogeneity and more complex patterns.

I social network online sono spesso studiati per analizzare sia fenomeni individuali che collettivi. In questo contesto, i simulatori sono strumenti ampiamente utilizzati per esplorare scenari controllati. L’integrazione dei Large Language Models (LLM), consente di creare simulazioni più realistiche, grazie alla loro capacità di comprendere e generare linguaggio naturale. Questo lavoro ha l’obiettivo di studiare il comportamento di agenti LLM in un simulatore di social network. Gli agenti sono inizializzati con profili realistici e sono calibrati su dati reali relativi alle elezioni politiche italiane del 2022. Un simulatore social media già esistente è stato esteso introducendo meccanismi per modellare l’opinione degli agenti e per simulare la diffusione di misinformazione. L’obiettivo è esplorare come gli agenti LLM simulano e conversazioni, interagiscono, ed evolvono le loro opinioni, in diversi scenari. I risultati mostrano che gli agenti LLM possono generare contenuti coerenti e di formare connessioni con gli altri utenti, costruendo un grafo sociale realistico. Tuttavia, il tono dei contenuti che generano risulta meno eterogeneo rispetto a quello osservato nei dati reali, in termini di tossicità. L’evoluzione delle opinioni determinata dagli LLM evolve nel tempo in modo simile a quanto osservato con tradizionali modelli di dinamiche di opinioni. L'esposizione alla misinformazione non ha un impatto significativo, suggerendo una necessaria modellazione dei modelli cognitivi degli LLM in fase di inizializzazione. Un'altra limitazione di questo studio riguarda il tempo simulato, che non permette di osservare effetti a lungo termine come l'impatto di diversi algoritmi di raccomandazione. Nel complesso, gli LLM si dimostrano un potente strumento per simulare il comportamento degli utenti in ambienti sociali, ma ci sono ancora sfide nel rappresentare eterogeneità e pattern comportamentali più complessi.