Understanding learning engagement in video-based learning: how to monitor, assess and enhance

Video-Based Learning (VBL) is becoming an increasingly popular approach in education due to its flexibility and accessibility. It allows students to engage with learning materials at their own pace and from any location, making education more inclusive and adaptable. However, while VBL offers these significant advantages, it also presents challenges. On one side, the lack of real-time interaction can make it difficult for instructors to monitor their students’ engagement; on the other, VBL often leads to passive consumption of content, making it harder for the students to stay motivated. This research explores how technology can address these challenges, helping to better monitor and enhance engagement in VBL through both pedagogical and technological innovations. Firstly, it builds on the theoretical background of the research by conducting a systematic literature review that identifies key indicators and facilitators of engagement in VBL. Then, with the knowledge obtained, two systems are developed and validated: Evoli, a Video Annotation Tool (VAT) that collects self-reported feedback from students and video Learning Analytics (LA) to make the teacher aware of students’ engagement during video learning, and SmartQuiz, a Large Language Model (LLM)-based framework designed to generate high-quality in-video Multiple Choice Questions (MCQs), recognized in the review as a key facilitator for engagement. Evoli enhances instructor awareness by analyzing self-reported feedback and LA on student interactions with video content. A study demonstrated the tool’s good usability and its perceived usefulness by students and instructors. A second study highlights how a VAT like Evoli can independently influence student engagement, showing a positive impact on the emotional and agentic dimensions. Finally, a study examined whether explicit feedback from students or video log data was a better predictor of performance, revealing that video interaction data is a more accurate predictor of achievement. Recognizing the role of MCQs as a key facilitator of learning engagement in VBL, SmartQuiz tackles the time-consuming process of MCQ creation by utilizing LLMs to generate pedagogically sound questions aligned with best practices. Following the development of the system, an initial study assessed the quality of AI-generated MCQs, confirming their compliance with established guidelines. A subsequent study compared the impact of SmartQuiz-generated MCQs with those authored by instructors, revealing similar student learning outcomes. These findings suggest that AI can generate high-quality MCQs, thereby reducing instructor workload without compromising quality. This thesis demonstrates how, by utilizing annotation tools enhanced with MCQs, it is possible to create a VBL learning experience that not only increases instructor awareness but also enriches and enhances student engagement. Future research will focus on extending Evoli’s engagement framework to other educational media, such as slides and documents, enabling its use in both synchronous and asynchronous contexts. The SmartQuiz system will also be refined to handle longer videos, improve concept extraction, and incorporate visual elements to enhance question quality. Additionally, deploying Evoli in real-world settings will allow the collection of large-scale data on learner interaction and feedback, supporting further research in video-based and self-regulated learning.

Il Video-Based Learning (VBL) sta diventando un approccio sempre più diffuso in ambito educativo grazie alla sua flessibilità e accessibilità. Permette agli studenti di interagire con i materiali didattici secondo i propri ritmi e da qualsiasi luogo, rendendo l’istruzione più inclusiva e adattabile. Tuttavia, pur offrendo questi importanti vantaggi, il VBL presenta anche delle criticità. Da un lato, la mancanza di interazione in tempo reale rende difficile per i docenti monitorare il coinvolgimento degli studenti; dall’altro, il VBL porta spesso a un consumo passivo dei contenuti, riducendo la motivazione degli studenti. Questa ricerca esplora come la tecnologia possa affrontare tali sfide, contribuendo a monitorare e potenziare il coinvolgimento attraverso innovazioni sia pedagogiche che tecnologiche. In primo luogo, il lavoro si fonda su un solido inquadramento teorico, sviluppato tramite una revisione sistematica della letteratura che ha identificato indicatori e facilitatori chiave del coinvolgimento nel VBL. Sulla base di queste conoscenze, sono stati progettati e validati due sistemi: Evoli, uno Strumento di Annotazione Video (Video Annotation Tool – VAT) che raccoglie feedback auto-riferiti dagli studenti e analizza dati di Learning Analytics (LA) per rendere i docenti consapevoli del coinvolgimento durante la visione dei video; e SmartQuiz, un sistema basato su Large Language Models (LLM) per generare domande a scelta multipla (MCQ) direttamente dai video, riconosciute dalla letteratura come uno dei principali facilitatori del coinvolgimento. Evoli aumenta la consapevolezza dei docenti analizzando feedback auto-riferiti e dati di interazione video. Uno studio ha evidenziato la buona usabilità dello strumento e la sua utilità percepita da studenti e insegnanti. Un secondo studio ha mostrato come un VAT come Evoli possa influenzare positivamente il coinvolgimento degli studenti, in particolare nelle dimensioni emotiva e agentica. Infine, un terzo studio ha analizzato se fosse più efficace il feedback esplicito degli studenti o i dati di log video nel predire la performance, rivelando che i dati di interazione video sono un predittore più accurato del rendimento. Riconoscendo il ruolo delle MCQ come facilitatore chiave il coinvolgimento nel VBL, SmartQuiz affronta il problema della creazione manuale di domande, spesso lunga e dispendiosa, utilizzando LLM per generare domande coerenti con le buone pratiche pedagogiche. Uno studio iniziale ha valutato la qualità delle domande generate dall’AI, confermandone la conformità alle linee guida. Uno studio successivo ha confrontato l’impatto delle MCQ generate da SmartQuiz con quelle create dai docenti, rilevando risultati di apprendimento simili tra gli studenti. Questi risultati suggeriscono che l’AI può generare MCQ di alta qualità, riducendo il carico di lavoro dei docenti senza comprometterne l’efficacia. Questa tesi dimostra come, attraverso strumenti di annotazione arricchiti con MCQ, sia possibile creare un’esperienza di VBL che non solo aumenta la consapevolezza dei docenti, ma arricchisce e potenzia anche il coinvolgimento degli studenti. Le ricerche future si concentreranno sull’estensione del framework di Evoli ad altri media educativi, come slide e documenti, rendendolo applicabile sia in contesti sincroni che asincroni. Anche il sistema SmartQuiz sarà perfezionato per gestire video più lunghi, migliorare l’estrazione dei concetti e integrare elementi visivi per arricchire la qualità delle domande. Infine, l’adozione di Evoli in contesti educativi reali permetterà di raccogliere dati su larga scala sull’interazione e il feedback degli studenti, supportando ulteriori ricerche sul VBL e sull’apprendimento autorregolato.