The integration of Large Language Models (LLMs) into multi-user conversations has the potential to influence social dynamics and decision-making processes. This Thesis explores the role of an Artificial Intelligence (AI) powered chatbot as a moderator in group discussions, investigating whether it can replicate human moderation functions by guiding conversations toward more effective outcomes. The research employs an online study where participants engage in a murder mystery task, designed to stimulate collaboration and decision-making, under two conditions: the control condition (without the LLM moderator), and the experimental condition (with the LLM moderator). Our findings indicate that while AI-powered moderation can subtly influence participation dynamics and focus discussions, its overall impact on decision accuracy was limited. Pilots suggested that some limitations may be attributable to characteristics of the participant pool, which could have influenced the results. Nevertheless, we report all analyses, design steps, and adaptations in detail to support further research in this field. These insights provide a strong foundation for future work on enhancing AI-driven moderation in collaborative settings.

L’integrazione di Large Language Model (LLM) come GPT-3.5 in conversazioni multiutente ha il potenziale di influenzare le dinamiche sociali e i processi decisionali. Questa tesi esplora il ruolo di un chatbot alimentato dall’Intelligenza Artificiale (IA) come moderatore nelle discussioni di gruppo, verificando se può replicare un moderatore umano guidando le conversazioni verso risultati più efficaci. La ricerca si avvale di uno studio online in cui i partecipanti si cimentano in un "murder mystery", progettato per provocare la collaborazione e il processo decisionale, in due condizioni: con e senza un moderatore IA. I nostri risultati indicano che, sebbene la moderazione dell’IA possa influenzare le dinamiche di partecipazione e focalizzare le discussioni, il suo impatto complessivo sull’accuratezza delle decisioni è stato limitato. I pilot hanno suggerito che alcuni problemi possono essere attribuiti alle caratteristiche del gruppo di partecipanti, che potrebbero aver influenzato i risultati. Ciononostante, riportiamo in dettaglio tutte le analisi, le fasi di progettazione e gli adattamenti per supportare ulteriori ricerche in questo campo. Queste intuizioni forniscono una solida base per il lavoro futuro sul miglioramento della moderazione guidata dall’intelligenza artificiale in contesti collaborativi.

Multiuser conversational agents based on large language models

Dubini, Francesco
2023/2024

Abstract

The integration of Large Language Models (LLMs) into multi-user conversations has the potential to influence social dynamics and decision-making processes. This Thesis explores the role of an Artificial Intelligence (AI) powered chatbot as a moderator in group discussions, investigating whether it can replicate human moderation functions by guiding conversations toward more effective outcomes. The research employs an online study where participants engage in a murder mystery task, designed to stimulate collaboration and decision-making, under two conditions: the control condition (without the LLM moderator), and the experimental condition (with the LLM moderator). Our findings indicate that while AI-powered moderation can subtly influence participation dynamics and focus discussions, its overall impact on decision accuracy was limited. Pilots suggested that some limitations may be attributable to characteristics of the participant pool, which could have influenced the results. Nevertheless, we report all analyses, design steps, and adaptations in detail to support further research in this field. These insights provide a strong foundation for future work on enhancing AI-driven moderation in collaborative settings.
COSTANZA, ENRICO
GIUDICI , MATHYAS
ING - Scuola di Ingegneria Industriale e dell'Informazione
10-ott-2024
2023/2024
L’integrazione di Large Language Model (LLM) come GPT-3.5 in conversazioni multiutente ha il potenziale di influenzare le dinamiche sociali e i processi decisionali. Questa tesi esplora il ruolo di un chatbot alimentato dall’Intelligenza Artificiale (IA) come moderatore nelle discussioni di gruppo, verificando se può replicare un moderatore umano guidando le conversazioni verso risultati più efficaci. La ricerca si avvale di uno studio online in cui i partecipanti si cimentano in un "murder mystery", progettato per provocare la collaborazione e il processo decisionale, in due condizioni: con e senza un moderatore IA. I nostri risultati indicano che, sebbene la moderazione dell’IA possa influenzare le dinamiche di partecipazione e focalizzare le discussioni, il suo impatto complessivo sull’accuratezza delle decisioni è stato limitato. I pilot hanno suggerito che alcuni problemi possono essere attribuiti alle caratteristiche del gruppo di partecipanti, che potrebbero aver influenzato i risultati. Ciononostante, riportiamo in dettaglio tutte le analisi, le fasi di progettazione e gli adattamenti per supportare ulteriori ricerche in questo campo. Queste intuizioni forniscono una solida base per il lavoro futuro sul miglioramento della moderazione guidata dall’intelligenza artificiale in contesti collaborativi.
File allegati
File Dimensione Formato  
2024_10_Dubini_Executive_Summary.pdf

Open Access dal 19/09/2025

Dimensione 407.76 kB
Formato Adobe PDF
407.76 kB Adobe PDF Visualizza/Apri
2024_10_Dubini_Tesi.pdf

Open Access dal 19/09/2025

Dimensione 3.21 MB
Formato Adobe PDF
3.21 MB Adobe PDF Visualizza/Apri

I documenti in POLITesi sono protetti da copyright e tutti i diritti sono riservati, salvo diversa indicazione.

Utilizza questo identificativo per citare o creare un link a questo documento: https://hdl.handle.net/10589/227682