Evaluating student engagement in a digital platform: a school value-added approach

This thesis aims to investigate factors influencing student engagement within an online educational platform, focusing on class- and school-level dynamics to provide actionable insights for policymakers, school administrators, and educators. Using data from 38 schools, 764 courses, and 14,714 students across Italian high schools during the 2021-2022 academic year, a hierarchical random forest model was developed to analyze engagement determinants. The model incorporates diverse variables, including class size, teacher activities, school type, and digital resource use, to assess their impacts on student interaction with the platform. Key findings highlight that the number of lectures created by teachers, followed by school type and the volume of digital resources, are the most influential predictors of engagement. However, a saturation effect emerges: additional tasks and resources beyond a certain point yield diminishing engagement returns. An analysis of regional distribution was also conducted to better understand engagement patterns across Italy. Overall, this thesis supports the need for holistic SVA models that incorporate diverse factors for a more accurate assessment of school and teacher contributions to student engagement at the class level, with the platform. While limitations in data scope suggest areas for further research, expanding datasets across multiple years and educational settings could enhance model reliability. These findings encourage integrating both academic and environmental factors to better inform educational practices and policies in digital learning environments.

Questa tesi mira a indagare i fattori che influenzano il coinvolgimento degli studenti su una piattaforma educativa online, concentrandosi sulle dinamiche a livello di classe e di scuola per fornire indicazioni utili a responsabili politici, amministratori scolastici ed educatori. Utilizzando i dati di 38 scuole, 764 corsi e 14.714 studenti delle scuole superiori italiane durante l'anno accademico 2021-2022, è stato sviluppato un modello multilivello random forest per analizzare i determinanti del coinvolgimento. Il modello incorpora variabili diverse, tra cui dimensione della classe, attività dei docenti, tipo di scuola e utilizzo delle risorse digitali, per valutare i loro impatti sull'interazione degli studenti con la piattaforma. I principali risultati evidenziano che il numero di lezioni create dai docenti, seguito dal tipo di scuola e dal volume delle risorse digitali, sono i predittori più influenti del coinvolgimento. Tuttavia, emerge un effetto di saturazione: ulteriori compiti e risorse oltre un certo punto mostrano un rendimento decrescente in termini di coinvolgimento. È stata inoltre condotta un'analisi della distribuzione regionale per comprendere meglio i modelli di coinvolgimento in tutta Italia. In generale, questa tesi sostiene la necessità di modelli SVA olistici che incorporino fattori diversi per una valutazione più accurata dei contributi di scuole e docenti al coinvolgimento degli studenti a livello di classe con la piattaforma. Sebbene le limitazioni nella portata dei dati suggeriscano aree per ulteriori ricerche, l'espansione dei dataset su più anni e contesti educativi potrebbe migliorare l'affidabilità del modello. Questi risultati incoraggiano l'integrazione di fattori accademici e ambientali per informare meglio le pratiche educative e le politiche nei contesti di apprendimento digitale.