Design and development of a multi-agent system with RAG pipeline for personalized support in learning environments

Asynchronous learning environments, while offering students flexibility, frequently lack the immediate support and personalized guidance characteristic of traditional, in-person instruction, which can impede a learner’s ability to clarify doubts and fully engage with course material. Furthermore, current conversational systems powered by Large Language Models still contend with significant limitations, notably the risk of generating hallucinations. To address these challenges, this thesis presents a multi-agent conversational system enhanced with a Retrieval-Augmented Generation pipeline to support students in asynchronous learning courses. The system is implemented as a conversational agent within the WhoTeach e-learning platform developed by SocialThingum, and offers personalized support by adjusting the way answers are presented to match each student’s preferred learning style, based on the VARK model. The core contribution is a Multi-Agent System leveraging the LangGraph framework to increase modularity, maintainability, and reasoning robustness. The system coordinates specialized agents to achieve complex tasks including input understanding, question routing, content retrieval, recommendation of output formats, and answer generation. In addition, this thesis explores emerging evaluation methodologies specifically designed for multi-agent systems, drawing inspiration from recent proposed frameworks, with a focus not only on output quality but also on internal coordination dynamics. Finally, a questionnaire inspired by the core UTAUT constructs was administered to a group of volunteer participants to collect preliminary feedback on perceived usefulness and overall user experience. Results suggest that this work successfully develops a personalized, context-sensitive conversational assistant for education, although some limitations remain. The thesis concludes by discussing such limitations and outlining concrete future developments.

Gli ambienti di apprendimento asincrono, pur offrendo flessibilità agli studenti, spesso sono privi del supporto immediato e della guida personalizzata caratteristici dell’istruzione tradizionale in presenza, fattori che possono ostacolare la capacità di chiarire dubbi e di mantenere un coinvolgimento profondo con il materiale didattico. Inoltre, gli attuali sistemi conversazionali basati su LLM presentano ancora limitazioni significative, in particolare il rischio di generare allucinazioni. Per affrontare queste criticità, la tesi presenta un sistema conversazionale multi-agente dotato di una pipeline RAG per il supporto agli studenti in corsi asincroni. Il sistema è implementato all’interno della piattaforma e-learning WhoTeach sviluppata da SocialThingum e fornisce supporto personalizzato adattando la modalità di presentazione dei contenuti al profilo dello studente, determinato secondo la teoria VARK. Il contributo principale consiste in un sistema multi-agente basato sul framework LangGraph, allo scopo di incrementare modularità, manutenibilità e robustezza del ragionamento. Il sistema coordina agenti specializzati per l’esecuzione di compiti complessi tra cui comprensione dell’input, instradamento delle domande, retrieval dei contenuti, raccomandazione del formato di risposta e generazione dell’output. La tesi esplora metodologie di valutazione emergenti progettate per sistemi multi-agente, con un’attenzione non solo alla qualità dell’output ma anche alle dinamiche di coordinazione interna al multi-agente. Infine, è stata condotta una valutazione tramite questionario basato su costrutti del framework UTAUT, somministrato ad un gruppo di volontari per raccogliere feedback preliminari su utilità percepita e user experience. Il progetto è riuscito a realizzare con successo un assistente personalizzato e sensibile al contesto, anche se permangono alcune limitazioni. La tesi si conclude discutendo tali limitazioni e delineando possibili sviluppi futuri.