Enhancing language model-based knowledge tracing: a human-centered approach

Recent advances in Large Language Models (LLMs) are redefining what is possible for technologies designed to support human learning. One essential part of effective AI tutoring systems is Knowledge Tracing (KT), the ability to model and predict a student’s evolving understanding over time. This thesis explores how LLMs can enhance knowledge tracing by leveraging their natural language processing capabilities and integrating insights from expert educators. While traditional knowledge tracing methods provide valuable predictions, they do not take the implicit strategies teachers intuitively use to assess student understanding, into consideration. By applying design methodologies, this research aims to connect AI capabilities and teach- ing expertise. The study employs a qualitative co-design process with educators to identify key features used in predicting student performance. These insights are validated through correlation analysis of established datasets, demonstrating that educator-identified features strongly correlate with actual student outcomes. From this foundation, a novel approach called Human-like In-Context Learning (HuICL) is developed. Teacher-inspired features are directly integrated into the model’s input, and in-context learning (ICL) is applied, which allows LLMs to make predictions by learning patterns from examples provided in the prompt, without additional fine-tuning. Experiments show that HuICL achieves promising results compared to traditional knowledge tracing models across two datasets. Ablation studies further suggest that features reflecting student behavior, like concentration and carelessness, play a crucial role in improving prediction accuracy. The findings demonstrate that effective knowledge tracing requires thoughtful design of human-AI interaction patterns, creating systems that augment rather than replace the essential human elements of education.

I recenti progressi nei Large Language Models (LLM) stanno ridefinendo le possibilità delle tecnologie progettate per supportare l’apprendimento. Una parte essenziale dei sistemi di tutoraggio AI efficaci è il Knowledge Tracing (KT), la capacità di modellare e prevedere l’evoluzione del livello di apprendimento di uno studente nel tempo. Questa tesi esplora come i LLM possano migliorare il tracciamento della conoscenza sfruttando le loro capacità di elaborazione del linguaggio naturale e integrando le intuizioni di educatori esperti. Sebbene i metodi tradizionali di tracciamento delle conoscenze forniscano previsioni utili, non tengono conto delle strategie implicite che gli insegnanti utilizzano intuitivamente per valutare la comprensione degli studenti. Applicando metodologie di design, questa ricerca mira a collegare le capacità dell’intelligenza artificiale e le competenze degli insegnanti. Lo studio impiega un processo di co-progettazione qualitativa con gli insegnanti per identificare le caratteristiche chiave utilizzate per prevedere le prestazioni degli studenti. Queste intuizioni sono state convalidate attraverso l’analisi di correlazione di set di dati consolidati, dimostrando che le caratteristiche identificate dagli educatori sono fortemente correlate con i risultati effettivi degli studenti. Su queste basi, viene sviluppato un approccio innovativo chiamato Human-like In-Context Learning (HuICL). Le caratteristiche ispirate dall’insegnante sono integrate direttamente nell’input del modello e viene applicato l’in-context learning (ICL), che consente ai LLM di fare previsioni apprendendo modelli dagli esempi forniti nel prompt, senza ulteriori ottimizzazioni. Gli esperimenti dimostrano che HuICL ottiene risultati promettenti rispetto ai modelli tradizionali di tracciamento della conoscenza su due set di dati. Gli studi di ablazione suggeriscono inoltre che le caratteristiche che riflettono il comportamento dello studente, come la concentrazione e la disattenzione, giocano un ruolo cruciale nel migliorare l’accuratezza della previsione. I risultati dimostrano che una tracciabilità efficace delle conoscenze richiede una progettazione ponderata dei modelli di interazione tra uomo e AI, creando sistemi che aumentino piuttosto che sostituire gli elementi umani essenziali dell’istruzione.