Blended teaching evaluation through multilevel propensity score

Propensity score methods are widely used in nonrandomized observational studies to investigate the presence of confounding factors when evaluating the effects of a treatment. We compare the performances of the Politecnico di Milano engineering students before and after the activation of blended teaching in 2020 due to Covid-19, extending to multilevel data the propensity score matching approach by taking into account the clustering structure induced by the Engineering Schools students are enrolled in. Students’ performance is evaluated in terms of grade average and gained credits. Propensity score matching and weighting are used for the evaluation of the blended teaching, and to elaborate a predictive model for the performances.

Metodi basati sul propensity score sono ampiamente usati in studi osservazionali non randomizzati per analizzare la presenza di fattori di confondimento nella valutazione degli effetti di uno specifico trattamento. Compariamo le prestazioni degli studenti del Politecnico di Milano prima e dopo l’attivazione della didattica mista nel 2020 a causa del Covid-19, estendendo a dati multilivello l’approccio del Propensity Score Matching tenendo in considerazione la divisione in cluster indotta dalle diverse Scuole di Ingegneria in cui gli studenti sono iscritti. Le prestazione sono valutate in termini di media voto e CFU ottenuti. Propensity Score Matching e Weigthing sono usati per la valutazione della didattica mista, e per elaborare un modello predittivo delle prestazioni degli studenti.