A performance evaluation of digital learning in higher education

The dissertation consists of three papers that provide evidence about digital learning in higher education. Digital learning is stimulating the debate about the future of higher education, given the possibilities offered to increase accessibility, foster sustainability and personalise the learning path. Along the studies, I specifically investigate how it is possible to assess the performances of digital learning in HEIs and which is the magnitude of the generated effect. Given that performance management directly includes strategic planning, while the link between the strategic orientation and results have been hardly explored in the literature, the dissertation firstly analyses the issue of the strategic formulation and deployment of digital learning in HEIs, as important for performance assessment. Results highlight that digital learning is “relational” and enables implementation flows and different forms of conflicts across organisational levels. Then, I move to the measurement issue by contributing to the estimation of the effectiveness and the cost-effectiveness of digital education. Firstly, I assess the effectiveness of massive open online courses (MOOCs) as remedial courses in connection with formal education. Results show that MOOCs may be used effectively as a form of remedial education, but the intensity of use that maximises effectiveness varies depending on the subject and, possibly, on the prior experience of the student with the subject. Secondly, I investigate the relative cost-effectiveness of a blended (a mix of online and face-to-face education) MBA (master of business administration) in comparison with two counterparts having the same design but using online learning to a lesser extent. Results show that costs, quality and scalability are three parts of a whole, and that high-quality blended education does not allow both cost reduction and scalability. The dissertation contributes to the academic debate related to the performances of digital learning in higher education. Theoretically, I propose a framework to analyse in a holistic way how organisations are strategically changing to adopt digital learning, as well as how to assess their performances from a quantitative perspective. Empirically, I provide analytical evidence on the in-depth comparison of different cases and on the magnitude of the effect generated by different digital tools. Moreover, the contribution is practitioner-oriented for its managerial and policy implications. Research evidence may be used by university managers to adopt digital learning strategies, by stressing aspects related to the implementation process and to the design of initiatives that could foster effectiveness and cost savings. Finally, evidence could inform policy-makers to design evidence-based procedures and guiding principles in digital learning.

La tesi è costituita da tre articoli scientifici, che forniscono evidenza empirica in merito al digital learning nell’educazione universitaria. Il tema del digital learning ha recentemente stimolato il dibattito sul futuro dell’istruzione universitaria, date le possibilità offerte in termini di aumento dell’accessibilità, della sostenibilità e della personalizzazione del percorso formativo. Negli studi qui presentati viene indagato il tema dell’analisi delle performance del digital learning nell’educazione universitaria, e viene misurata l’entità dell’impatto generato. Dal momento che il performance management è parte integrante della pianificazione strategica, sebbene il legame tra orientamento strategico e risultati sia stato raramente esplorato in letteratura, la tesi analizza, in primis, il tema della formulazione strategica del digital learning, poichè rilevante per la misurazione della performance. I risultati mostrano come il digital learning sia “relazionale”, in quanto abilita flussi di implementazione e diverse forme di conflitto tra livelli organizzativi. La tesi discute poi il tema della misurazione contribuendo alla stima dell’efficacia e del rapporto di costo-efficacia delle iniziative di digital learning. In primo luogo, la tesi misura l’efficacia dell’uso dei massive open online courses (MOOCs) come corsi di recupero delle competenze a supporto dei corsi di studio “tradizionali”. I risultati mostrano la potenziale efficacia di questi strumenti in termini di apprendimenti, sebbene l’intensità di utilizzo che ne massimizza l’efficacia vari a seconda della specifica materia e, probabilmente, in relazione al livello di esperienza pregressa dello studente. In secondo luogo, la tesi misura il livello di costo-efficacia di un MBA (master of business administration) erogato in modalità blended (mix di lezioni in presenza e online) e paragonato a due MBA disegnati in maniera equivalente che, tuttavia, usano l’educazione online in misura inferiore. I risultati mostrano che costi, qualità e scalabilità sono le tre parti di un intero, e che la produzione di educazione online di elevata qualità non permette di ottenere al contempo una riduzione dei costi ed un aumento della scalabilità. La tesi contribuisce, quindi, al dibattito accademico relativo alle performance del digital learning nell’educazione universitaria. Dal punto di vista teorico, la tesi propone un framework per analizzare olisticamente come le organizzazioni si stanno trasformando da un punto di vista strategico per accogliere la sfida dell’educazione digitale, ma anche come misurare la performance di queste iniziative da un punto di vista quantitativo. Da un punto di vista empirico, la tesi presenta evidenza analitica sulla comparazione approfondita di diversi casi di utilizzo del digital learning e sull’entità dell’effetto generato dagli strumenti digitali. Le evidenze empiriche prodotte possono essere usate da manager universitari per l’adozione di strategie di digital learning, sottolineando gli aspetti relativi al processo di implementazione e al design delle iniziative. Infine, i risultati emersi possono essere utilizzati dai policy-maker per disegnare procedure e principi guida “evidence-based” nel campo del digital learning.