A comprehensive performance management system for higher education. A private University experience

Performance management systems are special tools that enable to monitor the performances of an organisation’s and ensure that its goals and objectives are met. Their main purpose is to drive management towards quality and service improvement, in line with cost parameters. In order to make an effective use of the performance measurement results, a transition from performance measurement to management is needed. As a matter of fact, besides measuring performances, it is necessary to enable an improvement in the decision-making process and, accordingly, have a methodology to achieve an effective strategic change. Traditionally, non-profit organisations, like most universities, do not face pressures for survival and the need to increase their efficiency and efficacy. However, competition has been recently increasing and institutions are involved in a growing number of challenges − such as higher competition, globalisation, emerging technologies, resource constraints and unethical behaviours − so non-profit organisations as well need to focus on mission, strategy and the need to find some useful performance management tools. Accordingly, it is becoming more and more important to set educational objectives and standards to increase universities’ competitiveness in a globalised environment. As a result, non-profit organisations, and universities in particular, have adapted some tools taken from the business world to meet their needs or they have used performance management systems specifically created for them. However, the focus of these latter is mainly beamed onto the peculiar features of the higher education context, thus missing a more comprehensive view. In this work, we have investigated the performance management systems used in the higher education contexts in order to see what perspectives enable the most accurate universities’ self-evaluation. Moreover, we have performed an action research developing and implementing a performance management system for an American university. Accordingly, creating and implementing a performance management system enable to generate an important knowledge and to highlight significant elements that can enrich the literature and provide insights for future implementations. The first chapter provides a brief explanation of what a performance management system is, and the reason of the growing interest it has recently gained in the education sector. Chapter 1 also identifies the two research questions of this thesis. The former concerns the selection of the most significant perspectives enabling the creation of a comprehensive performance management system for universities’ self-evaluation. The latter aims at creating an ad hoc version of the comprehensive framework to measure and manage the performances of a university division’s, enabling it to prove its ability of self-evaluation. Chapter 2 outlines the background and the context in which the action research is grounded. A deep analysis of the university, division and units has enabled the development and implementation of a framework based on the university’s strategy. As a matter of fact, in order to create and implement an appropriate performance management system, it is of utmost importance to understand the university, context, strategy and organisational practices. Chapter 3 closely analyses the literature concerning the performance management systems used by universities, considering the models coming from the business world and those which are specifically created for universities. The frameworks considered in this literature review are the Balance Scorecard, the Baldrige National Quality Program, the European Foundation for Quality Management, the CIPP, the HEdPERF, and the PRISM. Chapter 3 ends by comparing these frameworks, especially with respect to their specificity concerning the higher education sector, comprehensiveness, consistency to the strategy, prioritisation, responsibility-orientation and the kinds of results (qualitative and quantitative) considered. Chapter 4 describes the methodology used in this work to answer the two research questions. Two dimensions have been taken in great consideration to answer the first research questions, namely the higher education specificity and the framework comprehensiveness. This selection is due to our twofold focus, on the one hand that of providing an overall picture of the university’s performances considering every significant perspective, on the other hand that of taking into account the higher education sector’s peculiarities for these perspectives, such as customer variety, customer importance, and focus on the students’ outcome. Chapter 4 also extensively describes the action research methodology that has been used in this study. In particular, we have further investigated the differences with positive science, the limitations of this innovative approach, and the change management theory. The last part of the methodology focuses on how action research has been implemented in our experience, thus recalling its first three steps, namely the planning phase, the action phase and the observation phase. During the planning phase, the performance management system has been developed, the people involved in the project have been selected and the activities, to be performed in order to correctly implement the tool, have been planned. The action phase has outlined the methodologies and tools that enable the implementation of the performance management system, i.e., on the one side, an assessment plan developed to collect the division and units’ objectives, targets, metrics and final obtainments; on the other side, a framework supporting the project plan to monitor the progress of the activities over time. Eventually, in the observation phase a retrospective analysis of the action research has been performed in order to observe the behaviors of practitioners and researchers step by step during the project. Chapter 5 displays the results concerning the two research questions. In order to answer the first research question, considering the two aforementioned analysis dimensions, six perspectives have been selected as follows: Student Perspective, Internal Business, Financial Sustainability, Stakeholders Perspective, Learning & Growth and Governance & Performance Management Systems. In addition, another analysis dimension, namely the university’s strategy, is to be considered by a performance management system to properly serve the university’s needs. The final outcome is a framework where two categories coexist, on the one side the fixed perspectives, which should always be viewed by universities – due to this specific sector’s peculiarities – and, on the other side, the variable perspectives, which should be used only if matching the university’s strategy. The second result, referring to the second research question of this study, is the implementation of the performance management system. Accordingly, we have created an ad hoc customised framework for the university division and defined the objectives, targets and metrics for the whole division as well as for each of its single units. The chapter ends with the accomplishment of the first assessment of the division’s performances. The final chapter, number 6, focuses on the last step of the action research, namely the so-called reflection phase, which has enabled us to assess the project achievements and problems. In particular, the action research has shown the importance of two main phases concerning the development and implementation of the performance management system i.e. the customisation to the university’s strategy and the clear explanation of the benefits for the action research practitioners, thus encouraging them to support the framework implementation. Besides enriching the existing literature, the knowledge created through the action research enables to ease any future applications of this tool to units, programs, divisions, and universities.

I sistemi di gestione delle prestazioni sono strumenti che consentono al management dell’organizzazione di monitorare le prestazioni dell’organizzazione e di assicurarsi che gli obiettivi siano raggiunti. Lo scopo di tali strumenti è guidare il management verso il miglioramento della qualità e dei servizi soddisfacendo i parametri di costo. Affinché un’organizzazione possa fare un uso efficace dei risultati della misurazione delle prestazioni è necessaria una transizione dalla mera misurazione, alla gestione delle performance. Oltre a misurare le prestazioni occorre infatti consentire un miglioramento del processo decisionale e, di conseguenza, avere una metodologia per realizzare un cambiamento strategico efficace. Tradizionalmente le organizzazioni senza scopo di lucro, cui appartengono la maggior parte delle università, non devono affrontare pressioni per la sopravvivenza e quindi per l’aumento dell’efficienza e dell’efficacia. Tuttavia, dato l’aumento della competizione e le crescenti sfide anche in ambito universitario − competizione, globalizzazione, sviluppo di nuove tecnologie, vincoli di risorse e comportamenti non etici − per le organizzazioni non profit è diventato necessario focalizzarsi su missione, strategia e creazione di strumenti di gestione delle prestazioni. Di conseguenza sta diventando sempre più importante stabilire obiettivi e standard educativi per aumentare la competitività delle università in un ambiente globalizzato. A questo fine le organizzazioni non profit, e in particolare le università, hanno adattato gli strumenti del mondo business alle loro esigenze o si sono avvalsi di i sistemi di gestione delle prestazioni, creati appositamente per i loro scopi. Questi ultimi, tuttavia, tendono a focalizzare l’attenzione principalmente sulle caratteristiche peculiari del contesto di istruzione superiore e mancano quindi di una visione complessiva. Con il presente studio, in primo luogo, vengono analizzati i sistemi di gestione delle prestazioni adottati nel contesto dell’istruzione superiore, al fine di comprendere quali prospettive consentono una più accurata autovalutazione dell’istituto universitario. In secondo luogo viene effettuata una ricerca operativa nella quale è sviluppato e implementato un sistema di misurazione e gestione delle prestazioni per una divisione di un’università americana. La creazione e implementazione di questo sistema consente di generare conoscenza e di evidenziare elementi significativi che arricchiscano la letteratura e possano fornire spunti per implementazioni future. Il Capitolo 1 fornisce una breve spiegazione di cosa sia un sistema di misurazione e gestione delle prestazioni e la ragione del crescente interesse che recentemente ha acquisito nel settore dell’istruzione. Inoltre il capitolo identifica le due domande di ricerca della tesi. La prima concerne la selezione delle prospettive più rilevanti che consentono di creare un sistema di gestione delle performance completo e comprensivo affinché l’università possa autovalutarsi. La seconda mira a creare una versione ad hoc del framework per misurare e gestire le prestazioni di una divisione universitaria così che possa dimostrare la propria capacità di autovalutazione. Il capitolo 2 delinea il contesto in cui è implementata la cosiddetta action research. Analizzando approfonditamente l’università, la divisione e le unità che ne fanno parte, è stato possibile sviluppare e implementare un framework basato sulla strategia dell’università. È infatti fondamentale comprendere l’università, il contesto, la strategia e le pratiche organizzative al fine di creare e attuare questo sistema in modo appropriato. Il capitolo 3 analizza dettagliatamente la letteratura riguardante i sistemi di misurazione e gestione delle prestazioni adottati dalle università, prendendo in considerazione sia quelli provenienti dal mondo business sia quelli specificamente creati per le università. I modelli considerati in letteratura sono: Balanced Scorecard, Baldrige National Quality Program, European Foundation for Quality Management, CIPP, HEdPERF e PRISM. In conclusione del capitolo è stato eseguito un confronto fra questi modelli tenendo in considerazione le seguenti caratteristiche: specificità per il settore dell’istruzione superiore, completezza, allineamento con la strategia, priorizzazione, orientamento alla responsabilità e tipi di risultati considerati (qualitativi o quantitativi). Il capitolo 4 descrive la metodologia utilizzata in questa tesi per rispondere alle domande di ricerca. In particolare, per rispondere alla prima, sono state prese in considerazione due dimensioni: la specificità per il settore dell’istruzione universitaria e la completezza del framework. Sono state selezionate queste due dimensioni poiché il focus della ricerca è da un lato fornire un quadro generale delle prestazioni dell’università considerando tutte le prospettive significative, dall’altro prendere in considerazione una rosa di prospettive che tengano conto delle peculiarità del settore dell’istruzione superiore, per esempio la gamma di clienti, la loro importanza e il focus sui risultati ottenuti dagli studenti. Il capitolo 4 fornisce anche una descrizione esaustiva della metodologia detta action research utilizzata in questo studio. In particolare sono state approfondite le differenze con la cosiddetta positive science, i limiti di questo approccio innovativo e la teoria della gestione del cambiamento. L’ultima parte della metodologia si concentra sull’action research da noi implementata ripercorrendo le sue prime tre fasi: pianificazione, azione e osservazione. Durante la fase di pianificazione è stato sviluppato il sistema di misurazione e gestione delle prestazioni, sono stati selezionati gli attori da coinvolgere nel progetto e sono state pianificate le attività da svolgere per implementare lo strumento correttamente. La fase di azione ha delineato le metodologie e gli strumenti che consentono l’implementazione del sistema di gestione delle prestazioni. Da un lato si è sviluppato un piano di valutazione al fine di identificare gli obiettivi intermedi, i traguardi, le metriche e gli obiettivi finali della divisione e delle unità in analisi. Dall’altro un framework a supporto del project plan consentirà di monitorare i progressi delle attività nel tempo. Infine, nella fase di osservazione è stata condotta un’analisi retrospettiva della action research per osservare i comportamenti di professionisti e ricercatori durante il progetto. Il capitolo 5 mostra i risultati delle due domande di ricerca iniziali. Per rispondere alla prima, considerando le due dimensioni di analisi summenzionate, sono state selezionate le seguenti sei prospettive: prospettiva degli studenti, attività interne, sostenibilità finanziaria, prospettiva degli stakeholder, apprendimento e crescita, governance e responsabilità sociale. Tuttavia, al fine di disporre di un sistema di misurazione e gestione delle prestazioni che consideri adeguatamente le esigenze dell’università, deve essere considerata un’ulteriore dimensione di analisi, ovvero la strategia dell’università. Il risultato finale è un framework in cui coesistono due categorie, da un lato le prospettive fisse, che dovrebbero essere sempre considerate dalle università − una scelta guidata dalle peculiarità di questo specifico settore − dall’altro lato le prospettive variabili, da considerare solo se allineate con la strategia dell’università. Il secondo risultato, riferito alla seconda domanda di ricerca di questo studio, è l’implementazione del sistema di gestione delle prestazioni. È stato pertanto creato un framework ad hoc personalizzato per la divisione dell’università in analisi e sono stati definiti gli obiettivi, i target e le metriche per la divisione nel suo complesso e per le diverse unità. Per concludere è stata condotta la prima valutazione delle prestazioni riferibili alla divisione. Infine il capitolo 6 si concentra sull’ultima fase dell’action research, la cosiddetta fase di riflessione. Qui è stata condotta un’analisi dettagliata sui risultati della ricerca, consentendo di valutare i risultati e i problemi del progetto. In particolare, dallo sviluppo e implementazione del sistema di gestione delle prestazioni per la divisione è emersa l’importanza di due passaggi chiave: la personalizzazione del framework in base alla strategia dell’università e la chiara spiegazione dei benefici per i soggetti attivi dell’action research incentivandoli, così, a supportare l'implementazione del framework. Oltre a contribuire all’arricchimento della letteratura, le conoscenze create attraverso l’action research consentono anche di facilitare le applicazioni future di questo strumento a unità, programmi, divisioni e intere università.