MyLearningTalk: Developing a Generative AI-Powered Intelligent Tutoring System

Recent advancements in natural language interaction have sparked significant interest in integrating Large Language Models (LLMs) into dialogue-based online Intelligent Tutoring Systems (ITS). However, effectively designing LLM-based ITSs to support learning remains a challenge. Concerns about these systems potentially replacing professors and their perceived disruptive influence on education have led many educators to reject the use of artificial intelligence (AI) to preserve academic integrity. In this thesis, we present MyLearningTalk (MLT), an AI-based virtual assistant designed to stimulate learning by providing personalized student support. MLT employs state-of-the-art techniques such as retrieval augmented generation (RAG) and innovative prompt engineering strategies to mitigate issues of hallucination and factual accuracy in LLMs. Additionally, MLT offers interactive features that incorporate effective pedagogical strategies, providing users with grounded answers and a tailored learning experience. Accuracy tests demonstrate the reliability of the selected approaches. User testing indicates high levels of student satisfaction with MLT, particularly appreciating the quiz and examples generation features, which were confirmed to be effective pedagogical tools. The conversational framework offered a natural and intuitive learning experience that engages students with human-like interactions. Importantly, students emphasized that the assistant serves as a complementary tool and does not replace professors as the primary source of information, thereby maintaining the essential role of teachers in the educational process.

I recenti progressi nell'uso del linguaggio naturale per interfacciarsi con sistemi digitali hanno suscitato un notevole interesse verso l'integrazione dei Large Language Models (LLMs) nei Sistemi di Tutoraggio Intelligente (STI) basati sul dialogo. Tuttavia, la progettazione efficace di STI basati su LLMs per supportare l'apprendimento rimane una sfida. Le preoccupazioni riguardo al fatto che questi sistemi possano potenzialmente sostituire i professori ed il loro ruolo centrale nell'apprendimento hanno portato molti docenti a rifiutare l'uso dell'intelligenza artificiale (IA) al fine di preservare l'integrità accademica. In questa tesi, presentiamo MyLearningTalk (MLT), un assistente virtuale basato sull'IA progettato per stimolare l'apprendimento fornendo supporto personalizzato agli studenti. MLT impiega tecniche all'avanguardia come la retrieval augmented generation (RAG) e strategie innovative di prompt engineering per mitigare i problemi di allucinazione e fattualità degli LLMs. Inoltre, MLT offre funzionalità interattive che incorporano diverse strategie pedagogiche, fornendo agli utenti risposte fondate e un'esperienza di apprendimento personalizzata. I test sull'accuratezza delle risposte dimostrano l'affidabilità delle strategie selezionate. Gli studenti che hanno testato MLT hanno mostrato opinioni molto posistive, apprezzando in particolare le funzionalità di generazione di quiz ed esempi, che si sono rivelate strumenti pedagogici efficaci. Il framework conversazionale si è dimostrato altrettanto valido, offrendo un'esperienza di apprendimento naturale e intuitiva che coinvolge gli studenti con interazioni simili a quelle umane. È importante sottolineare come gli studenti abbiano enfatizzato il ruolo complementare dell'assistente, che non sostituisce i professori come principale fonte di informazione, preservando così il ruolo centrale dei docenti nel processo educativo.