Predicting academic failure in Luxembourg seconday education: integrating item response theory and machine learning algorithm

This thesis investigates the prediction of academic failure in Luxembourg secondary schools using a Generalized Mixed-Effects Random Forest (GMERF) model. The study was conducted during an internship at the Script Data Division of the Luxembourg Ministry of Education, leveraging access to the ministry's educational database. Building on the methodology proposed by Pellagatti et al. (2021) for predicting university dropout, we adapt the GMERF framework to the secondary education context, using schools as random intercepts to capture institutional heterogeneity. Academic failure is operationally defined as experiencing either grade repetition or downward track mobility during the first three years of secondary education. The model incorporates results from the Épreuves Communes (EpComm), a national standardized test administered at the end of primary school, along with demographic variables and first-year academic performance. A key innovation of this work is the integration of Item Response Theory (IRT) to estimate student abilities: we first apply a multidimensional 2-parameter IRT model for each subject, then a bifactor model to separate general and domain-specific abilities. These IRT-derived measures replace traditional z-scores in the predictive models. Analyzing two cohorts comprising 8,335 students nested within 30 schools who took the EpComm in 2020/21 and 2021/22, we achieve a test set prediction accuracy of 79.2% (AUC = 0.854). The estimated Variance Partition Coefficient (VPC) of 2.9% indicates modest between-school heterogeneity, suggesting that academic failure risk is primarily driven by individual-level factors, with schools exhibiting relatively homogeneous baseline risk after controlling for student characteristics. Variable importance analysis reveals that first-year GPA and IRT-derived general abilities dominate failure prediction, while demographic factors exhibit minimal predictive power. The results demonstrate the feasibility of implementing early warning systems based on readily available administrative data to support educational policy and targeted interventions, while highlighting the complexity of predicting academic failure at the secondary level, where unobserved family context factors play a more significant role compared to university settings.

Questa tesi investiga la previsione dell'insuccesso scolastico nelle scuole secondarie del Lussemburgo utilizzando un modello Generalized Mixed-Effects Random Forest (GMERF). Lo studio è stato condotto durante un internship presso la Script Data Division del Ministero dell'Educazione del Lussemburgo, sfruttando l'accesso al database educativo ministeriale. Partendo dalla metodologia proposta da Pellagatti et al. per la previsione dell'abbandono universitario, il framework GMERF viene adattato al contesto dell'istruzione secondaria, utilizzando gli istituti scolastici come random intercept per catturare l'eterogeneità istituzionale. L'insuccesso scolastico è definito operativamente come l'esperienza di bocciatura o mobilità discendente verso un percorso formativo inferiore nei primi tre anni di scuola secondaria. Il modello integra i risultati delle Épreuves Communes (EpComm), un test nazionale standardizzato somministrato al termine della scuola primaria, insieme a variabili demografiche e rendimento accademico del primo anno. Un'innovazione chiave di questo lavoro è l'integrazione dell'Item Response Theory (IRT) per stimare le abilità degli studenti: viene prima applicato un modello IRT multidimensionale a due parametri per ciascuna materia, quindi un modello bifactor per separare abilità generali e dominio-specifiche. Queste misure derivate dall'IRT sostituiscono i tradizionali z-score nei modelli predittivi. Analizzando due coorti di 8.335 studenti annidati in 30 scuole che hanno sostenuto l'EpComm nel 2020/21 e 2021/22, si raggiunge un'accuratezza di predizione del 79,2% (AUC = 0,854) sul test set. Il Variance Partition Coefficient (VPC) stimato del 2,9% indica una modesta eterogeneità tra scuole, suggerendo che il rischio di insuccesso scolastico è principalmente determinato da fattori individuali, con le scuole che mostrano rischio baseline relativamente omogeneo dopo aver controllato per le caratteristiche degli studenti. L'analisi dell'importanza delle variabili rivela che la media del primo anno e le abilità generali derivate dall'IRT dominano la previsione dell'insuccesso, mentre i fattori demografici mostrano un potere predittivo minimo. I risultati dimostrano la fattibilità di implementare sistemi di allerta precoce basati su dati amministrativi prontamente disponibili per supportare politiche educative e interventi mirati, evidenziando al contempo la complessità della previsione dell'insuccesso scolastico a livello secondario, dove fattori di contesto familiare non osservabili giocano un ruolo più significativo rispetto al contesto universitario.