Evaluation of Universities' Institutional efficiency and performance under system-level reforms in russian higher education

The Introduction of New Public Management in response to budget cuts amid increasing participation in higher education remains a global trend. Although it is not implemented in the same way and to the same extent in different national contexts, performance-based funding schemes, cost-sharing mechanisms, promotion of competition, excellence and efficiency are present in many countries. The widespread diffusion of performance-enhancing policies makes the provision of causal evidence on their effects particularly relevant. The thesis presents comprehensive evidence on the effects of performance-oriented reforms in higher education in terms of public universities’ efficiency, productivity and research performance by addressing the case of the Russian higher education system during the period 2012-2020. The thesis is composed of five papers. The starting point of the study is a systematic review of research on the New Public Management effects on higher education production function indexed in Scopus, Web of Science, and EBSCOhost publication databases. Based on a final selection of 32 relevant studies in the field, the thesis proposes a typology of performance enhancing policies: ‘state as financier’, ‘structuring state’, and ‘autonomy steering state’. Within the ‘structuring state’ stream of policies, the thesis concentrates on the Russian case of an excellence initiative, Project 5-100. Using a three-step methodology of propensity score matching, Data Envelopment Analysis, and the Malmquist index, the study concludes that concentrating resources in a limited number of universities, aimed at enhancing their international competitiveness, was successful in improving publication performance and organisational productivity. The excellence initiative might have also produced spillover effects on universities with similar production possibilities not included in the reform. The effects of ‘state as financier’ regulation is explored using the example of a performance-based funding scheme. A combination of time series clustering and semiparametric difference-in-differences revealed the presence of beneficial redistributive effects of enhanced competition across higher education providers. The reform significantly transformed universities’ production functions, namely, in increasing the admission quality, the degree of internationalisation, and research performance. At the same time, the introduction of performance-based funding disproportionately benefited well-performing institutions that are already receiving greater resources and thus intensified stratification in the system. By discerning between formal and informal institutional autonomy and integrating the Benefit-of-the-Doubt, Data Envelopment Analysis, fixed effects regression, and instrumental variable approaches, the thesis studies the effects of the ‘autonomy steering state’ mechanism in higher education. The analysis demonstrates that current regulation on institutional autonomy in Russia does not contribute to any differentials in research performance and efficiency between autonomous and non-autonomous universities. Informal autonomy, and especially universities’ autonomy in staff management, is a more robust positive predictor of efficiency gains. Finally, the thesis discusses the unintended consequences of the adoption of New Public Management and analyses the evolution of universities’ teaching and research production functions through Data Envelopment Analysis, Malmquist index, and sigma- and beta- efficiency convergence measures. Over almost a decade of performance-enhancing policies, and specifically under overlapping quality-assurance policies, Russian universities, on average, became slightly less efficient, but more homogeneous in their teaching efficiency. On the contrary, presumably due to a range of policies increasing the research capacity of comprehensive universities, research efficiency in the system increased, but the gap between the best and the worst performers in terms of their production possibilities became more evident. The study first contributes to the discussion about universities as complex economic organisations with a production function that can be subject to change through building an incentive-constraint environment. Second, it challenges the economic justification of such regulation by taking advantage of a unique opportunity to address the research gap of fragmented evidence in the field and study the effects of several types of performance regulation on a single empirical context. From the methodological perspective, the study provides a range of novel combinations of empirical methods that allow a reduction in the endogeneity bias and an increase in the causality of evidence produced. In doing this, the dissertation informs policymakers, proposes possible policy implications and fosters research in the field of policy evaluation in the public sector.

L'introduzione della New Public Management in risposta ai tagli di finanziamento di fronte alla crescente partecipazione dei cittadini all'istruzione superiore rimane una tendenza globale. Nonostante questo approccio gestionale non sia implementato allo stesso modo e nella stessa misura nei diversi contesti nazionali, i sistemi di finanziamento basati sul rendimento, i meccanismi di condivisione dei costi, la promozione della competizione, dell'eccellenza e dell'efficienza sono presenti in molti paesi. L'ampia diffusione delle politiche di miglioramento delle performance rende particolarmente rilevante la raccolta e l’analisi delle prove causali sui loro effetti. La tesi presenta prove approfondite sugli effetti delle riforme orientate alla performance nell'istruzione superiore in termini di efficienza, produttività e risultati della ricerca delle università pubbliche, affrontando il caso del sistema di istruzione superiore russo nel periodo 2012-2020. La tesi è composta da 5 articoli. Il punto di partenza dello studio è una revisione sistematica della ricerca sugli effetti del New Public Management sulla funzione di costo dell'istruzione superiore indicizzata nei database delle pubblicazioni di Scopus, Web of Science e EBSCOhost. Sulla base di una selezione finale di 32 studi rilevanti in materia, la tesi propone una tipologia di politiche di miglioramento delle performance: "Lo stato come finanziatore", "Lo stato strutturante" e "Lo stato che governa l'autonomia". Nell'ambito delle politiche de "Lo stato strutturante", la tesi si concentra sul caso russo di un'iniziativa di eccellenza, il Progetto 5-100. Utilizzando una metodologia in tre fasi di propensity score matching, Data Envelopment Analysis e Malmquist index, lo studio conclude che la concentrazione delle risorse in un gruppo limitato di università, mirata ad aumentare la loro competitività internazionale, ha avuto successo sia per quanto riguarda l’aumento del numero delle pubblicazioni, sia nella produttività organizzativa. L'iniziativa di eccellenza potrebbe anche aver prodotto effetti di spillover sulle università con possibilità produttive simili non incluse nella riforma. Gli effetti delle politiche de "Lo stato come finanziatore" sono esplorati utilizzando l'esempio di un sistema di finanziamento basato sui risultati. Una combinazione di clustering delle serie temporali e di difference-in-differences semiparametriche ha rivelato la presenza di effetti redistributivi benefici della concorrenza rafforzata tra i fornitori di istruzione superiore. La riforma ha trasformato in modo significativo le funzioni di costo delle università, in particolare innalzando i requisiti per l'ammissione, il grado di internazionalizzazione e le prestazioni dell’attività di ricerca. Allo stesso tempo, l'introduzione di un finanziamento basato sui risultati ha favorito in modo sproporzionato le istituzioni più performanti, che già ricevevano maggiori risorse, intensificando così la stratificazione nel sistema. Facendo distinzione tra l’autonomia istituzionale formale e informale e integrando gli approcci del Benefit-of-the-Doubt, della Data Envelopment Analysis, della regressione a effetti fissi e delle variabili strumentali, la tesi si basa sull'attuale regolamentazione dello status delle università autonome in Russia e studia gli effetti del meccanismo de "Lo stato che governa l'autonomia" nell'istruzione superiore. Lo studio dimostra che l'attuale normativa sull'autonomia istituzionale non contribuisce a creare delle differenze nelle prestazioni e nell'efficienza della ricerca tra le università autonome e quelle non autonome. L'autonomia informale, e in particolare l'autonomia delle università nella gestione del personale, è il presupposto più significativo che assicura la crescita dell’efficienza. Da ultimo, la tesi discute le conseguenze indesiderate dell'adozione del New Public Management e analizza l'evoluzione delle funzioni di costo dell'insegnamento e della ricerca delle università attraverso la Data Envelopment Analysis, il Malmquist index e le sigma- e beta- misure di convergenza dell'efficienza. Nel corso di quasi un decennio di politiche volte al miglioramento delle performance, e in particolare nell'ambito di diverse politiche di assicurazione della qualità che si sono sovrapposte, le università russe sono diventate in media leggermente meno efficienti, ma più omogenee nella loro efficienza didattica. Al contrario, presumibilmente a causa di una serie di politiche che hanno potenziato la capacità di ricerca negli atenei, l'efficienza della ricerca nel sistema è aumentata, ma il divario tra le università migliori e quelle peggiori in termini di possibilità di produzione è notevolmente cresciuto. Questa tesi pone come il suo obiettivo principale quello di dare il proprio contributo alla discussione sulle università come organizzazioni economiche complesse con una funzione di costo che può essere soggetta a cambiamenti attraverso l’introduzione di incentivi e restrizioni. In secondo luogo, la tesi mette in discussione la giustificazione economica di questa regolamentazione, sfruttando un'opportunità unica per risolvere il vuoto di ricerca dovuto alla frammentazione delle prove sul campo e studiando gli effetti di diversi tipi di regolamentazione della performance in un unico contesto empirico. Dal punto di vista metodologico, lo studio fornisce una serie di combinazioni originali di metodi empirici che consentono di ridurre il fattore endogeno e di evidenziare il rapporto causa-effetto. In questo modo, la tesi informa i le figure istituzionali responsabili delle scelte da adottare, propone possibili soluzioni politiche e promuove la ricerca nel campo della valutazione delle politiche che vengono realizzate nel settore pubblico.