AI moderation in multi-party voice conversations: architecture, strategies, and evaluation

Conversational systems are increasingly used through voice, but they are mostly designed for dyadic interaction, one user and one assistant. Group conversation, where several people speak and an artificial agent takes part, raises problems that the dyadic case avoids: managing who holds the floor, attributing each contribution to its speaker, and defining the role the agent plays within the group. A natural role for such an agent is that of the moderator, which supports group discussion by regulating the conversational process, keeping the discussion focused, and promoting balanced participation. This work studies whether and how an artificial agent can take on that role in a real-time voice-based group conversation. The role was studied through AIutami, a real-time multi-party speech-based system built for this purpose. The moderator stays neutral on the task: it does not take part in the decision, but supports the process. It follows the discussion and keeps track of what is said, so that it can recap it on request, it encourages quieter members to contribute, and it steps in when the conversation stalls or loses focus. Its interventions are decided by combining deterministic rules over the session state with a judgement made by a large language model (LLM), filtered by backend constraints that govern when and how often it may speak. The system was evaluated through a within-subjects study with thirty participants, who carried out a collaborative decision-making task with and without the moderator. The study measured decision quality, session efficiency, participation balance, and participant satisfaction. The moderator did not produce a measurable improvement in the quality of the group’s decision, but it made participation significantly more balanced and was clearly preferred by participants. Moderated sessions lasted longer than unmoderated ones, an effect that can be read either as reduced efficiency or as increased engagement. Its main effect is on the process, not on the decision.

I sistemi conversazionali sono sempre più usati a voce, ma restano progettati per interazioni diadiche, tra un singolo utente e un assistente artificiale. Le conversazioni di gruppo, in cui più persone parlano e un agente artificiale prende parte, pongono problemi assenti nel caso diadico: gestire chi ha la parola, attribuire ogni contributo al suo autore e definire il ruolo dell’agente nel gruppo. Un ruolo naturale per l’agente è quello del moderatore, che sostiene la discussione regolando il processo conversazionale, mantenendo il focus e promuovendo una partecipazione equilibrata. Questo lavoro studia se e come un agente artificiale possa assumere tale ruolo in una conversazione vocale di gruppo in tempo reale. Il ruolo è stato studiato attraverso AIutami, un sistema vocale multi-utente in tempo reale sviluppato a questo scopo. Il moderatore resta neutrale rispetto al compito: non partecipa alla decisione, ma sostiene il processo con cui il gruppo la raggiunge. Segue la discussione e ne tiene traccia, così da fornire riepiloghi su richiesta; incoraggia i partecipanti più silenziosi e interviene quando la conversazione si blocca o perde il focus. I suoi interventi combinano regole deterministiche sullo stato della sessione con una valutazione di un modello linguistico di grandi dimensioni (LLM), filtrata da vincoli lato backend che regolano quando e quanto spesso il moderatore può parlare. Il sistema è stato valutato con uno studio within-subjects con trenta partecipanti, che hanno svolto un compito collaborativo di decision-making con e senza moderatore. Lo studio ha misurato la qualità della decisione, l’efficienza della sessione, l’equità della partecipazione e la soddisfazione dei partecipanti. Il moderatore non ha prodotto un miglioramento misurabile nella qualità della decisione, ma ha reso la partecipazione significativamente più bilanciata ed è stato chiaramente preferito dai partecipanti. Le sessioni con moderatore sono durate più di quelle senza, un effetto che può essere letto come riduzione dell’efficienza o come aumento del coinvolgimento. Il suo effetto principale riguarda il processo, non la decisione.