A study of possible improvements in Knowledge Tracing with Natural Language Processing and self-attention

Knowledge tracing is the task of modelling the evolution of students' knowledge over time while they answer a sequence of exercises. In online education systems, predicting the answers correctness of a student can provide a more valuable and personalized learning process. Recent works have proposed self-attention based models or considered the text of the exercises to learn additional relations between them. Those areas are still under-explored, so we focus on them. First, we propose Prediction Oriented Self-attention for knowledge Tracing (POST), a self-attention based model composed of: an encoder, embedding past exercises content information, a decoder, adding past answers and a second decoder comparing the outputs with the content information of the target exercise. Then we examine six Natural Language Processing methods (i.e. CountVectorizer, word2vec, doc2vec, DistilBERT, Sentence Transformer and BERTopic) to produce embeddings from the exercises’ text and develop “NLP-enhanced” versions of Deep Knowledge Tracing and POST, able to use these embeddings as inputs. Furthermore, we study how to create hybrid models, able to use at the same time the embeddings produced by multiple NLP methods. We present two hybrid approaches for NLP-DKT. We evaluate the models on three public datasets (ASSISTments 2009, ASSISTments 2012, Peking Online Judge) and a private dataset provided by Cloud Academy. The results show that POST achieves state-of-the-art performance in knowledge tracing with large improvements in binary accuracy and AUC (up to 6.65% and 7.74% respectively) compared to both SAINT+ and DKT. NLP-enhanced DKT has been shown to improve DKT results on the three public datasets, while NLP-enhanced POST outperforms the AUC of POST on each of the four datasets. In particular, NLP-POST provides significant improvements on the datasets with few samples. Lastly, hybrid models, implemented only for NLP-DKT, further enhance the results, establishing themselves as the model with the highest AUC on ASSISTments 2009 dataset, improving by 8.73% the AUC of DKT. We conclude that NLP-enhancing and new self-attention architectures are successful directions to improve KT. For future research, we suggest studying and optimizing how to NLP-enhance self-attention models.

Nel contesto dell'apprendimento online, è utile tracciare l'evoluzione delle conoscenze e abilità degli studenti nel corso del tempo, col fine di ottimizzare l'utilità degli esercizi proposti. In particolare, prevedere la correttezza delle risposte ad esercizi futuri permette di personalizzare e aggiungere valore al processo di apprendimento, per esempio suggerendo esercizi mirati a colmare eventuali lacune. Recentemente vi è stato interesse a sviluppare modelli per la previsione della correttezza basati su self-attention oppure capaci di utilizzare anche le informazioni presenti nel testo degli esercizi. Queste due aree sono ancora poco esplorate per i risultati che promettono. Innanzitutto, proponiamo il modello Prediction Oriented Self-attention for knowledge Tracing (POST), composto da tre componenti: un encoder responsabile di modellare il contenuto degli esercizi passati, un decoder che aggiunge ad esso le informazioni sulle risposte passate e un secondo decoder che confronta queste informazioni con il contenuto del problema da prevedere. Successivamente, abbiamo utilizzato sei metodi (CountVectorizer, word2vec, doc2vec, DistilBERT, Sentence Transformer e BERTopic) per creare, a partire dai testi degli esercizi, dei vettori che li rappresentassero e abbiamo sviluppato delle versioni “NLP-enhanced” di DKT e POST capaci di utilizzarli. Abbiamo anche studiato come sviluppare modelli “ibridi”, cioè capaci di usare contemporaneamente vettori provenienti da metodi diversi, e presentato due approcci per realizzarli a partire da “NLP-enhanced” DKT. La valutazione dei modelli è stata effettuata su tre dataset pubblici (ASSISTments 2009, ASSISTments 2012 e Peking Online Judge) e uno privato fornito da Cloud Academy. POST migliora le prestazioni rispetto a SAINT+ e DKT su tutti i dataset valutati, con un incremento massimo rispettivamente del 6.65% per la binary accuracy e del 7.74% per l’AUC. “NLP-enhanced” DKT porta miglioramenti sui tre dataset pubblici, mentre “NLP-enhanced” POST supera la versione che non usa il testo su tutti i datasets, con un incremento più significativo su quelli con pochi dati disponibili. Infine, i modelli ibridi migliorano ulteriormente le prestazioni, affermandosi come miglior modello per il dataset ASSISTments 2009, con un incremento dell'AUC rispetto a DKT del 8.73%.