Designing service evaluation. A new perspective for service design practice

Evaluation is a blurred and underexplored topic within the service culture. Furthermore, it is an underestimated and unstructured practice, wherein a codified and acknowledged definition of service evaluation does not yet exist. This research aims to build the necessary knowledge for framing and operating service evaluation in the service design practice by making use of service design as an intermediary for the introduction of an evaluation culture within the service culture and by developing a conceptual evaluation model for services that helps address service design itself. This is an explorative, theoretical research originates from the challenges posed by the contemporary socio-economic context, which requires public and business organizations to continuously innovate, undertaking a never-ending learning and transformation process. In this context, service design is recognized more and more as a driver of innovation, however a systematic approach that allows service design practitioners to build trustable and shared evidences upon the problems they identify and the solutions they propose in response to the complex and ever-changing reality is still missing. Evaluation is suggested as a possible solution to fill this gap, since measuring the value of services, considered as the fundamental bases of exchange in the contemporary context, becomes crucial to understand what is happening today and how to change it for the better, in a continuous innovation perspective. Several questions that will be addressed by this research emerge from this intuition, such as what does it mean to evaluate a service? What can be evaluated and what are the objectives of service evaluation? What is the contribution of evaluation to service design and to service innovation? To answer these questions, it is first of all necessary to understand what it means to evaluate in order to then apply evaluation to service peculiarities. For this reason, the first part of the research lays on an extra-disciplinary context of investigation and consists in the exploration of evaluation literature within the field of social sciences. In this field, program evaluation studies represent the point of reference to achieve an overall understanding of the evaluation theory and practice. According to these studies, evaluation is defined as a process based on shared evidences aimed at building a hypothesis of reality about the value of what is evaluated, for learning and transformation purposes. To reach these purposes, the evaluation process needs to be designed by the evaluator in collaboration with decision-makers and eventually other stakeholders, which together define what is going to be evaluated, when, why, and from which perspective, according to the context in which the evaluation is situated and the understanding of individual and collective value systems of the actors involved. To understand how evaluation is specifically conducted in service organizations, what is evaluated in services, and for which purpose, the second part of the research shifts to the exploration of the service culture, focusing in particular on service logic literature developed in the fields of service marketing and management. The concepts of value and value creation in services are analyzed by looking at the phenomenology of evaluation in the service sector, through the analysis of case studies selected from literature, experiences collected in the field, and by mapping the most diffused service evaluation methods and techniques. What emerges from this exploration is that in the service sector a systematic approach to evaluation as well as a systemic vision on how to determine service value are missing. This is due to the fact that there is a discrepancy between the conceptualization of service value originating from an all-encompassing process of value creation that involves a provider, a customer and a joint perspective, and the effective evaluation of service quality, considered as the main measure of value, for which evaluation is usually restricted to the use of the service from the user perspective. Since value for the provider does not coincide with value for the user, even though both are fundamental for value to be created, a service evaluation framework is proposed as first result of the research, which interprets evaluation studies and service logic studies and provides a systemic vision upon how to assess the overall quality of a service, including a comprehensive definition of service evaluation. Similarly, the service design approach does not include a systematic and systemic vision on evaluation. Literature exploration, completed by an analysis of experiences collected in the field, shows that the focus of evaluation in the service design practice is to assess the value of service design itself, typically through the evaluation of projects and prototypes, in the attempt of consolidating its role as driver of innovation. On the other hand, when the contribution of service design to innovation is taken for granted, evaluation acquires a different value, especially when applied to mature existing services that need be redesigned in response to contemporary requirements. In these cases service evaluation and service design can be integrated in a unique process, contributing to each other in a reciprocal way. On one hand service evaluation supports service design in understanding the value of the current service and identifying drivers of change. On the other hand, thanks to its multidisciplinary and participatory approach, the service design mindset and tools can support the design of the evaluation strategy in agreement with what is asserted by evaluation studies. According to these insights, the third part of the research describes the development of a service evaluation model for service design, with the purpose of pragmatically supporting service design practitioners and people operating in the service sector in undertaking a continuous innovation process of existing services that is based on trustable and shared evidences. The model, which corresponds to the second result of the research, reflects upon what can be evaluated in a service to determine its overall value in a redesign perspective and proposes a set of guidelines to be followed for the integration of service evaluation and service design. The set of guidelines is then accompanied by a meta-tool consisting of a repertoire of service design tools that support the process execution, and includes evaluation methods and techniques stemming from program evaluation and service marketing and management, as well as service design research tools suitable for data collection, interpretation and visualization. In developing this model, it is also important to reflect upon the role of the service designer and in particular upon the new competencies he needs to face evaluation, at least at design level. What emerges from this research is that there is space for an evolution of the service design practice toward the introduction of an evaluation culture. In fact, the synergy between these two cultures could effectively meet the emerging need to develop a culture of change within service organizations in preparation for complex and rapidly changing future challenges.

La valutazione è un tema poco esplorato nella cultura dei servizi, oltre ad essere una pratica sottovalutata e mal strutturata, al punto che una definizione riconosciuta di “service evaluation” non esiste ancora. Questa ricerca ha l’obiettivo di costruire la conoscenza necessaria per inquadrare e condurre la valutazione dei servizi nelle pratiche di service design, rendendo il service design stesso un intermediario per l’introduzione di una cultura della valutazione nella cultura dei servizi, e sviluppando un modello concettuale di valutazione dei servizi a supporto della loro progettazione. Si tratta di una ricerca esplorativa e teorica che nasce dalle sfide poste dal contesto socio-economico contemporaneo, il quale richiede sia alle organizzazioni pubbliche che a quelle private di innovarsi continuamente, intraprendendo un processo ininterrotto di apprendimento e trasformazione. In questo contesto, nonostante il service design sia sempre più riconosciuto come un driver di innovazione, si denota ancora la mancanza di un approccio sistematico che permetta ai professionisti del service design di basare sia le problematiche individuate che le soluzioni proposte su evidenze affidabili e condivise, come richiesto dalla realtà complessa e in continuo cambiamento in cui viviamo. La valutazione rappresenta una possibile soluzione a questa mancanza, perché misurare il valore dei servizi, considerati come la fondamentale base di scambio nel contesto attuale, diventa fondamentale per comprendere cosa sta accadendo oggi e come trasformarlo al meglio in una prospettiva continua di innovazione. Diverse domande, trattate da questa ricerca, emergono da questa intuizione: cosa significa valutare un servizio? Cosa può essere valutato e con quali obiettivi? Qual è il contributo che la valutazione può dare al service design e alla service innovation? Per rispondere a queste domande è innanzitutto necessario comprendere che cosa significa valutare, per poi applicare la valutazione alle peculiarità dei servizi. Per questa ragione, la prima parte della ricerca si basa su un ambito extra-disciplinare e consiste nell’esplorazione della letteratura sulla valutazione nel campo delle scienze sociali. In questo ambito, gli studi sulla valutazione dei programmi rappresentano il punto di riferimento per raggiungere una comprensione generale della teoria e della pratica della valutazione. Secondo questi studi, la valutazione può essere definita come un processo basato su evidenze condivise e mirato a costruire un’ipotesi di realtà attorno a ciò che viene valutato, con obiettivi di apprendimento e trasformazione. Per raggiungere questi obiettivi, il processo di valutazione deve essere progettato dal valutatore in collaborazione con i decisori ed eventualmente altri stakeholder del programma valutato, in modo da definire ciò che deve essere valutato, in che momento, perché e da quale prospettiva, a seconda del contesto in cui la valutazione è situata e dei sistemi di valori (individuali e collettivi) degli attori coinvolti. Per capire come la valutazione viene effettivamente condotta dalle organizzazioni di servizio, che cosa viene valutato nei servizi e con quali obiettivi, la seconda parte della ricerca esplora la cultura dei servizi, focalizzandosi in particolare sulla cosiddetta service logic, sviluppata nella letteratura di service marketing e management. I concetti di valore e creazione del valore nei servizi vengono indagati tenendo in considerazione anche la fenomenologia della valutazione nel settore dei servizi, esplorata attraverso l’analisi di casi studio da letteratura, esperienze raccolte sul campo, e una mappatura dei più diffusi metodi e tecniche di valutazione dei servizi. Quanto emerge è che nel settore dei servizi si denota la mancanza sia di un approccio sistematico alla valutazione, che una visione sistemica relativa alla determinazione del valore del servizio. Ciò è dovuto principalmente al fatto che esiste una discrepanza tra la concettualizzazione del valore del servizio come derivante da un processo onnicomprensivo di creazione del valore che include la prospettiva del service provider, quella dell’utente e una prospettiva congiunta, e l’effettiva valutazione della qualità del servizio, considerata come la principale misura di valore, ma che viene valutata soltanto rispetto all’uso del servizio secondo la prospettiva dell’utente. Poiché il valore del servizio per il provider non coincide con il valore dello stesso per l’utente (sebbene entrambi siano necessari alla creazione di valore), la ricerca propone, come primo risultato, un framework per la valutazione dei servizi derivante dall’interpretazione della letteratura sulla valutazione dei programmi e la service logic, che fornisce una visione sistemica su come valutare la qualità totale del servizio, nonché una definizione comprensiva di service evaluation. Anche nell’ambito del service design si denota la mancanza di una visione sistematica e sistemica sulla valutazione. Un’esplorazione della letteratura, accompagnata da un’analisi fenomenologica di esperienze raccolte sul campo, mostra che il focus della valutazione nella pratica del service design consiste nel valutare il valore del service design stesso, tipicamente attraverso la valutazione di progetti e prototipi, nel tentativo di consolidare il suo ruolo come driver di innovazione. D’altro canto, quando il contributo del service design all’innovazione è dato per assodato, la valutazione acquista un altro valore, soprattutto se applicata a servizi esistenti e maturi che necessitano una riprogettazione in risposta alle esigenze contemporanee. In questo casi, la service evaluation e il service design possono essere integrati in un unico processo, contribuendo l’una alla buona riuscita dell’altro e viceversa. Da un lato, la valutazione del servizio può supportare il service design nel comprendere il valore del servizio da riprogettare, identificando dei driver di cambiamento. Dall’altro lato, grazie al suo approccio multidisciplinare e partecipativo, il mindset e gli strumenti del service design possono supportare la progettazione della strategia di valutazione. In conformità a questi fatti e interpretazioni, la terza parte della ricerca descrive lo sviluppo di un modello di valutazione dei servizi per il service design, con l’obiettivo di supportare pragmaticamente i service designer e coloro che operano nel settore dei servizi nell’intraprendere un processo continuo di innovazione dei servizi esistenti che sia fondato su evidenze affidabili e condivise. Il modello, che rappresenta il secondo risultato della ricerca, riflette su ciò che può essere valutato in un servizio al fine di determinare il suo valore in una prospettiva di redesign, e propone un set di linee guida per l’integrazione di service evaluation e service design in un unico processo. Le linee guida sono completate da un meta-tool, ovvero un repertorio di strumenti di service design e valutazione provenienti dagli ambiti disciplinari investigati. Infine, vengono fatte alcune considerazioni sul ruolo del service designer in questo processo integrato, con particolare riferimento alle nuove competenze necessarie ad affrontare la valutazione, almeno a livello strategico e progettuale. Questa ricerca dimostra che c’è spazio per un’evoluzione della pratica del service design verso l’introduzione di una cultura della valutazione. Infatti, la sinergia tra queste due culture potrebbe effettivamente rispondere al bisogno emergente di sviluppare una cultura del cambiamento all’interno delle organizzazioni di servizio, in previsione di sfide future complesse e in rapida trasformazione.