AI-enhanced learning dashboards for Video-Based Learning: a new form of analysis

Video-Based Learning (VBL) is widely adopted in education, offering students the flexibility to engage with instructional content at their own pace. However, its asynchronous nature poses challenges for instructors, who lack direct visibility into student comprehension and struggle to identify critical learning difficulties. Traditional learning analytics approaches primarily rely on aggregated engagement metrics, such as video completion rates and viewing patterns, which fail to capture the underlying reasons behind student struggles. This research proposes a novel framework, integrated within a learning dashboard, that combines self-reported student feedback and learning analytics, enhanced by Large Language Model (LLM), to provide deeper insights into student difficulties in VBL. The framework processes both direct student feedback and implicit behavioral data to identify zones of interest—key segments where students encounter challenges. By leveraging LLM, the system synthesizes this information, transforming raw data into structured, interpretable insights for instructors. A validation study was conducted using data from the Nuclear Physics course at the Politecnico di Milano, where the framework’s effectiveness was explored in collaboration with a faculty member. The instructor was interviewed, and a thematic analysis of the responses was conducted. The results suggest that this approach may enhance the instructor’s ability to identify student difficulties more efficiently, reducing the need for manual lesson reviews and enabling more targeted interventions. The study also highlights key challenges and future directions, including data privacy considerations, improving transcript accuracy in lecture-based recordings, and expanding the system’s scalability. This research advances traditional learning analytics by integrating explicit student feedback, providing deeper insights into learning processes and enhancing instructors’ ability to monitor and support student learning in asynchronous educational environments through AI-enhanced learning dashboards.

Il Video-Based Learning (VBL) è ampiamente adottato nell’educazione, offrendo agli studenti la flessibilità di fruire dei contenuti didattici al proprio ritmo. Tuttavia, la sua natura asincrona pone sfide per i docenti, che non hanno visibilità diretta sulla comprensione degli studenti e faticano a identificare le principali difficoltà di apprendimento. I metodi tradizionali di learning analytics si basano principalmente su metriche aggregate di coinvolgimento, come i tassi di completamento dei video e i modelli di visualizzazione, che non riescono a cogliere le reali cause delle difficoltà degli studenti. Questa ricerca propone un nuovo framework, integrato all’interno di una learning dashboard, che combina feedback auto-riferiti dagli studenti e learning analytics, potenziati dal Large Language Model (LLM), per offrire un’analisi più approfondita delle difficoltà nel VBL. Il framework elabora sia feedback diretti degli studenti sia dati comportamentali impliciti, identificando le zone di interesse, ovvero i segmenti chiave in cui gli studenti incontrano difficoltà. Grazie all’uso del LLM, il sistema sintetizza queste informazioni, trasformando i dati grezzi in insight strutturati e interpretabili per i docenti. Lo studio di validazione è stato condotto utilizzando i dati del corso di Fisica del Nucleo presso il Politecnico di Milano, dove l’efficacia del framework è stata esplorata in collaborazione con un docente. L’insegnante è stato intervistato e le sue risposte sono state utilizzate per effettuare un’analisi tematica. I risultati suggeriscono che questo approccio può migliorare la capacità del docente di individuare le difficoltà degli studenti in modo più efficiente, riducendo la necessità di revisioni manuali delle lezioni e consentendo interventi più mirati. Lo studio evidenzia anche sfide e direzioni future, tra cui considerazioni sulla privacy dei dati, il miglioramento dell’accuratezza delle trascrizioni nelle lezioni basate su lavagna e l’espansione della scalabilità del sistema. Questa ricerca avanza oltre le tradizionali learning analytics integrando feedback espliciti degli studenti, fornendo una comprensione più profonda dei processi di apprendimento e migliorando la capacità dei docenti di monitorare e supportare gli studenti in ambienti educativi asincroni attraverso learning dashboards potenziate dall’intelligenza artificiale.