Biblioteche e Archivi
POLITesi - Archivio digitale delle tesi di laurea e di dottorato

Performance Management largely recognized the potential of exploiting data shared online by users but it still pushes towards deeper investigations of the actual usage of online users’ voices to support performance management of public sector institutions. While extant literature relied on answers to surveys or manual analysis of online activities of users, the purpose of my Ph.D. dissertation is to answer the overarching research question “How do automated models of online User-Generated Text (UGT), like social media posts and online reviews, inform performance management of public sector institutions?”. I decompose the study of this complex phenomenon leveraging the Input-Process-Output (IPO) model and empirically analyse it in the setting of Italian state museums, as performance management of these institutions is strongly intertwined with the perceptions of users. Specifically, I develop a collection of four research papers, each of which contributes to informing about the three components of input, output and process. In terms of input, the first research paper contributes to overcoming the need for clear methodological guidelines on how to automatically model online UGT to inform performance management of public sector institutions, answering the research question “Which Natural Language Processing (NLP) methodologies have been used to support the performance management of public sector institutions and which are the implications of their usage for public sector decision-makers?”. A Systematic Literature Review (SLR) of academic studies that concern public sector performance management and automated modelling of text, i.e., NLP, shows that the debate is still extremely focused on few of the possible NLP tasks and that public management experts are yet left without examples nor explanations of the decision-making implications of using specific NLP methodologies. In terms of output, the second and third research papers embrace the call for empirical evidence of which performances of public sector institutions can be measured through automated modelling of wide sets of online UGT and for dynamic and flexible ways to measure them. Specifically, the second paper answers the research question “To what extent do the museum quality dimensions evaluated from online reviews using a ‘bottom-up’ approach differ from those identified through a ‘top-down’ approach?” through a comparison of a top-down and a bottom-up approach to quantitatively analyse the text of TripAdvisor reviews of 100 Italian state museums. The third research paper answers the question “What are (if any) the differences in latent dimensions of museum visitor experience perceived by visitors who write reviews in the local language compared to those who write in non-local languages?” by modelling through Latent Dirichlet Allocation (LDA) the Italian and non-Italian text of TripAdvisor reviews of the 30 top-visited Italian state museums. Together, these two research papers strongly contribute to the study of the output of informing public sector performance management through automated modelling of online UGT, empirically showing public sector institutions how to derive flexible and dynamic performance measures from users’ perceptions without the need to ask them to provide specific personal information on who they are or where they come from, but just considering the written language they use to review online. In terms of process, the fourth research paper embraces the need expressed by the public management community to further investigate the implications of the design and actual usage of performance management systems based on these data sources. To answer the question “How is a performance management system based on data generated online by users designed and used by public sector institutions and which are the accounting and accountability implications?”, the fourth research paper analyses a longitudinal case study of the design and use of a performance management system based on digital data by a central government and its controlled units, respectively Italian Ministry of Culture and 100 Italian state museums. Showing that the system is understood from the measured results and the connections among the performances measured, the fourth paper provides empirical evidence on the accounting and accountability challenges encountered along the process of informing performance management of public sector institutions through automated models of online UGT. The main contribution of my Ph.D. dissertation is to combine in a single study various disciplines which rarely communicate with each other, namely Performance Measurement, Public Management, Text Modelling and Online User Behaviour Analytics. From an academic perspective, my Ph.D. dissertation moves beyond the study of individual performance metrics based on digital data and opens a rich though yet understudied research avenue in the public sector performance management literature, by showing the implications in terms of input, process, and outputs of introducing a system of dynamic and subjective performance measures derived from automated models of users’ perceptions in connection to public services. From a practical perspective, my Ph.D. dissertation provides interesting shreds of evidence to public sector practitioners and policymakers on the effects of using automated modelling of online UGT to support performance management of public sector institutions. This includes examples of the potential biases that can be introduced in defining standards and guidelines for performance management in the public sector based on automated modelling of online UGT and examples of approaches that can be considered to facilitate the alignment of service delivery objectives of public sector institutions with wider societal and civic purposes.

La letteratura relativa alla gestione delle prestazioni organizzative ha ampiamente riconosciuto il potenziale dello sfruttamento dei dati condivisi online dagli utenti, ma tuttora spinge verso l’indagine più approfondita dell'effettivo utilizzo per supportare la gestione delle prestazioni delle istituzioni in ambito pubblico di ciò che gli utenti scrivono online, detto online user-generated text (UGT) ovvero testo generato dall'utente online, come i post sui social media e le recensioni online. Mentre la letteratura esistente si basa su risposte a sondaggi o analisi manuali delle attività online degli utenti, lo scopo della mia tesi di dottorato è di rispondere alla domanda di ricerca "In che modo i modelli automatizzati di testo generato dall'utente online, ovvero online UGT, informano la gestione delle prestazioni delle istituzioni nel settore pubblico?". Per studiare questo fenomeno complesso, ricorro al modello Input-Processo-Output (IPO) per decomporre il fenomeno studiandolo nelle sue tre componenti di ingressi (input), processi (process) e risultati (output). Visto che la gestione delle prestazioni di queste istituzioni è fortemente intrecciata con le percezioni degli utenti, analizzo empiricamente questo fenomeno nel contesto dei musei statali italiani. Nello specifico, nella mia tesi di dottorato raccolgo quattro articoli, ciascuno dei quali contribuisce a informare sulle tre componenti di input, output e processo. In termini di input, il primo articolo contribuisce a superare la necessità di fornire chiare linee guida metodologiche su come modellare automaticamente testo generato dall'utente online per informare la gestione delle prestazioni delle istituzioni in ambito pubblico, rispondendo alla domanda di ricerca "Quali metodologie di elaborazione del linguaggio naturale, dette di Natural Language Processing (NLP), sono state utilizzate per supportare la gestione delle prestazioni delle istituzioni del settore pubblico e quali sono le implicazioni del loro utilizzo per i decisori del settore pubblico?”. Attraverso il metodo della Systematic Literature Review (SLR), analizzo sistematicamente gli studi accademici che riguardano la gestione delle prestazioni in ambito pubblico e la modellazione automatizzata del testo, ovvero NLP. Così facendo, mostro che il dibattito è ancora estremamente concentrato su solo alcuni dei possibili compiti che il NLP è in grado di assolvere e che gli esperti di gestione pubblica sono tuttora lasciati senza esempi né spiegazioni chiare delle implicazioni decisionali che derivano dall'utilizzo di specifiche metodologie di NLP. In termini di output, il secondo e il terzo articolo di ricerca raccolto in questa tesi abbracciano la richiesta di fornire evidenze empiriche delle prestazioni che le istituzioni del settore pubblico possono misurare attraverso la modellazione automatizzata di ampie quantità di online UGT e di modi dinamici e flessibili per misurarle. Nello specifico, il secondo articolo risponde alla domanda di ricerca “In che misura le dimensioni della qualità dei musei valutate attraverso le recensioni online utilizzando un approccio ‘bottom-up’ differiscono da quelle identificate attraverso un approccio ‘top-down’?”. La risposta viene fornita confrontando un approccio ‘top-down’, ovvero dall’alto verso il basso, e un approccio ‘bottom-up’, ovvero dal basso verso l’alto, per analizzare quantitativamente il testo delle recensioni TripAdvisor di 100 musei statali italiani. Il terzo articolo risponde alla domanda "Quali sono (se esistono) le differenze nelle dimensioni latenti dell'esperienza del visitatore del museo percepite dai visitatori che scrivono recensioni nella lingua locale rispetto a quelli che scrivono in lingue non locali?". Per rispondere, modellizzo tramite il metodo della Latent Dirichlet Allocation (LDA) il testo italiano e non italiano delle recensioni di TripAdvisor dei 30 musei statali italiani più visitati. L’insieme del secondo e del terzo articolo di ricerca di questa tesi contribuisce fortemente allo studio dell'output del fenomeno d’interesse, mostrando empiricamente alle istituzioni del settore pubblico come derivare misure di prestazioni flessibili e dinamiche dalle percezioni degli utenti senza la necessità di chiedere loro di fornire informazioni personali specifiche su chi sono o da dove provengono, ma solo considerando il linguaggio con cui recensiscono online. In termini di processo, il quarto articolo affronta la necessità espressa dalla comunità del management pubblico di indagare ulteriormente le implicazioni della progettazione e dell'utilizzo effettivo dei sistemi di gestione delle prestazioni basati su fonti di dati generate online dagli utenti. Per rispondere alla domanda “In che modo un sistema di gestione delle prestazioni basato sui dati generati online dagli utenti è progettato e utilizzato dalle istituzioni del settore pubblico e quali sono le implicazioni in termini di contabilità e responsabilità?”, il quarto articolo di ricerca di questa tesi analizza attraverso il metodo Longitudinal Case Study il caso della progettazione e dell'utilizzo di un sistema di gestione delle prestazioni basato su dati digitali da parte di un governo centrale e delle sue unità controllate, rispettivamente Ministero della Cultura italiano e 100 musei statali italiani. Mostrando che il funzionamento del sistema è compreso dagli utenti finali grazie ai risultati misurati dal sistema e grazie alle connessioni tra le misure delle prestazioni, il quarto articolo fornisce prove empiriche sulle sfide di contabilità (in inglese, accounting) e responsabilità (in inglese, accountability) incontrate lungo il processo della gestione delle prestazioni delle istituzioni del settore pubblico di informato attraverso modelli automatizzati di online UGT. Il contributo principale della mia tesi di dottorato è quello di combinare in un unico studio varie discipline che raramente comunicano tra loro, vale a dire la misurazione e gestione delle prestazioni organizzative (Performance Management), la gestione pubblica (Public Management), la modellazione del testo (Text Modelling) e l'analisi del comportamento degli utenti online (Online User Behaviour Analytics). Da un punto di vista accademico, la mia tesi di dottorato va oltre lo studio delle singole metriche per la misurazione delle prestazioni basate su dati digitali e apre una strada di ricerca potenzialmente ricca ma ancora poco studiata nella letteratura sulla gestione delle prestazioni del settore pubblico. Nello specifico, la mia tesi mostra le implicazioni in termini di input, processo e output dell'introduzione nella gestione delle prestazioni in ambito pubblico di misure dinamiche e soggettive, derivanti da modelli automatizzati per l’elaborazione delle percezioni degli utenti in relazione ai servizi pubblici. Da un punto di vista pratico, la mia tesi di dottorato fornisce interessanti evidenze agli operatori del settore pubblico e ai responsabili politici sugli effetti dell'utilizzo della modellazione automatizzata di online UGT per supportare la gestione delle prestazioni delle istituzioni in ambito pubblico. Ciò include esempi di potenziali distorsioni che possono essere introdotte nella definizione di standard e linee guida per la gestione delle prestazioni nel settore pubblico derivanti dalla modellizzazione automatizzata di online UGT ed esempi di approcci che possono essere presi in considerazione per facilitare l'allineamento degli obiettivi di erogazione dei servizi delle istituzioni del settore pubblico con scopi sociali e civici più ampi.

Modelling online user-generated texts for performance management of public sector institutions : the study of italian state museums

Riva, Paola
2022/2023

Abstract

Performance Management largely recognized the potential of exploiting data shared online by users but it still pushes towards deeper investigations of the actual usage of online users’ voices to support performance management of public sector institutions. While extant literature relied on answers to surveys or manual analysis of online activities of users, the purpose of my Ph.D. dissertation is to answer the overarching research question “How do automated models of online User-Generated Text (UGT), like social media posts and online reviews, inform performance management of public sector institutions?”. I decompose the study of this complex phenomenon leveraging the Input-Process-Output (IPO) model and empirically analyse it in the setting of Italian state museums, as performance management of these institutions is strongly intertwined with the perceptions of users. Specifically, I develop a collection of four research papers, each of which contributes to informing about the three components of input, output and process. In terms of input, the first research paper contributes to overcoming the need for clear methodological guidelines on how to automatically model online UGT to inform performance management of public sector institutions, answering the research question “Which Natural Language Processing (NLP) methodologies have been used to support the performance management of public sector institutions and which are the implications of their usage for public sector decision-makers?”. A Systematic Literature Review (SLR) of academic studies that concern public sector performance management and automated modelling of text, i.e., NLP, shows that the debate is still extremely focused on few of the possible NLP tasks and that public management experts are yet left without examples nor explanations of the decision-making implications of using specific NLP methodologies. In terms of output, the second and third research papers embrace the call for empirical evidence of which performances of public sector institutions can be measured through automated modelling of wide sets of online UGT and for dynamic and flexible ways to measure them. Specifically, the second paper answers the research question “To what extent do the museum quality dimensions evaluated from online reviews using a ‘bottom-up’ approach differ from those identified through a ‘top-down’ approach?” through a comparison of a top-down and a bottom-up approach to quantitatively analyse the text of TripAdvisor reviews of 100 Italian state museums. The third research paper answers the question “What are (if any) the differences in latent dimensions of museum visitor experience perceived by visitors who write reviews in the local language compared to those who write in non-local languages?” by modelling through Latent Dirichlet Allocation (LDA) the Italian and non-Italian text of TripAdvisor reviews of the 30 top-visited Italian state museums. Together, these two research papers strongly contribute to the study of the output of informing public sector performance management through automated modelling of online UGT, empirically showing public sector institutions how to derive flexible and dynamic performance measures from users’ perceptions without the need to ask them to provide specific personal information on who they are or where they come from, but just considering the written language they use to review online. In terms of process, the fourth research paper embraces the need expressed by the public management community to further investigate the implications of the design and actual usage of performance management systems based on these data sources. To answer the question “How is a performance management system based on data generated online by users designed and used by public sector institutions and which are the accounting and accountability implications?”, the fourth research paper analyses a longitudinal case study of the design and use of a performance management system based on digital data by a central government and its controlled units, respectively Italian Ministry of Culture and 100 Italian state museums. Showing that the system is understood from the measured results and the connections among the performances measured, the fourth paper provides empirical evidence on the accounting and accountability challenges encountered along the process of informing performance management of public sector institutions through automated models of online UGT. The main contribution of my Ph.D. dissertation is to combine in a single study various disciplines which rarely communicate with each other, namely Performance Measurement, Public Management, Text Modelling and Online User Behaviour Analytics. From an academic perspective, my Ph.D. dissertation moves beyond the study of individual performance metrics based on digital data and opens a rich though yet understudied research avenue in the public sector performance management literature, by showing the implications in terms of input, process, and outputs of introducing a system of dynamic and subjective performance measures derived from automated models of users’ perceptions in connection to public services. From a practical perspective, my Ph.D. dissertation provides interesting shreds of evidence to public sector practitioners and policymakers on the effects of using automated modelling of online UGT to support performance management of public sector institutions. This includes examples of the potential biases that can be introduced in defining standards and guidelines for performance management in the public sector based on automated modelling of online UGT and examples of approaches that can be considered to facilitate the alignment of service delivery objectives of public sector institutions with wider societal and civic purposes.
ARNABOLDI, MICHELA
ARNABOLDI, MICHELA
9-mag-2023
Modelling online user-generated texts for performance management of public sector institutions : the study of italian state museums
La letteratura relativa alla gestione delle prestazioni organizzative ha ampiamente riconosciuto il potenziale dello sfruttamento dei dati condivisi online dagli utenti, ma tuttora spinge verso l’indagine più approfondita dell'effettivo utilizzo per supportare la gestione delle prestazioni delle istituzioni in ambito pubblico di ciò che gli utenti scrivono online, detto online user-generated text (UGT) ovvero testo generato dall'utente online, come i post sui social media e le recensioni online. Mentre la letteratura esistente si basa su risposte a sondaggi o analisi manuali delle attività online degli utenti, lo scopo della mia tesi di dottorato è di rispondere alla domanda di ricerca "In che modo i modelli automatizzati di testo generato dall'utente online, ovvero online UGT, informano la gestione delle prestazioni delle istituzioni nel settore pubblico?". Per studiare questo fenomeno complesso, ricorro al modello Input-Processo-Output (IPO) per decomporre il fenomeno studiandolo nelle sue tre componenti di ingressi (input), processi (process) e risultati (output). Visto che la gestione delle prestazioni di queste istituzioni è fortemente intrecciata con le percezioni degli utenti, analizzo empiricamente questo fenomeno nel contesto dei musei statali italiani. Nello specifico, nella mia tesi di dottorato raccolgo quattro articoli, ciascuno dei quali contribuisce a informare sulle tre componenti di input, output e processo. In termini di input, il primo articolo contribuisce a superare la necessità di fornire chiare linee guida metodologiche su come modellare automaticamente testo generato dall'utente online per informare la gestione delle prestazioni delle istituzioni in ambito pubblico, rispondendo alla domanda di ricerca "Quali metodologie di elaborazione del linguaggio naturale, dette di Natural Language Processing (NLP), sono state utilizzate per supportare la gestione delle prestazioni delle istituzioni del settore pubblico e quali sono le implicazioni del loro utilizzo per i decisori del settore pubblico?”. Attraverso il metodo della Systematic Literature Review (SLR), analizzo sistematicamente gli studi accademici che riguardano la gestione delle prestazioni in ambito pubblico e la modellazione automatizzata del testo, ovvero NLP. Così facendo, mostro che il dibattito è ancora estremamente concentrato su solo alcuni dei possibili compiti che il NLP è in grado di assolvere e che gli esperti di gestione pubblica sono tuttora lasciati senza esempi né spiegazioni chiare delle implicazioni decisionali che derivano dall'utilizzo di specifiche metodologie di NLP. In termini di output, il secondo e il terzo articolo di ricerca raccolto in questa tesi abbracciano la richiesta di fornire evidenze empiriche delle prestazioni che le istituzioni del settore pubblico possono misurare attraverso la modellazione automatizzata di ampie quantità di online UGT e di modi dinamici e flessibili per misurarle. Nello specifico, il secondo articolo risponde alla domanda di ricerca “In che misura le dimensioni della qualità dei musei valutate attraverso le recensioni online utilizzando un approccio ‘bottom-up’ differiscono da quelle identificate attraverso un approccio ‘top-down’?”. La risposta viene fornita confrontando un approccio ‘top-down’, ovvero dall’alto verso il basso, e un approccio ‘bottom-up’, ovvero dal basso verso l’alto, per analizzare quantitativamente il testo delle recensioni TripAdvisor di 100 musei statali italiani. Il terzo articolo risponde alla domanda "Quali sono (se esistono) le differenze nelle dimensioni latenti dell'esperienza del visitatore del museo percepite dai visitatori che scrivono recensioni nella lingua locale rispetto a quelli che scrivono in lingue non locali?". Per rispondere, modellizzo tramite il metodo della Latent Dirichlet Allocation (LDA) il testo italiano e non italiano delle recensioni di TripAdvisor dei 30 musei statali italiani più visitati. L’insieme del secondo e del terzo articolo di ricerca di questa tesi contribuisce fortemente allo studio dell'output del fenomeno d’interesse, mostrando empiricamente alle istituzioni del settore pubblico come derivare misure di prestazioni flessibili e dinamiche dalle percezioni degli utenti senza la necessità di chiedere loro di fornire informazioni personali specifiche su chi sono o da dove provengono, ma solo considerando il linguaggio con cui recensiscono online. In termini di processo, il quarto articolo affronta la necessità espressa dalla comunità del management pubblico di indagare ulteriormente le implicazioni della progettazione e dell'utilizzo effettivo dei sistemi di gestione delle prestazioni basati su fonti di dati generate online dagli utenti. Per rispondere alla domanda “In che modo un sistema di gestione delle prestazioni basato sui dati generati online dagli utenti è progettato e utilizzato dalle istituzioni del settore pubblico e quali sono le implicazioni in termini di contabilità e responsabilità?”, il quarto articolo di ricerca di questa tesi analizza attraverso il metodo Longitudinal Case Study il caso della progettazione e dell'utilizzo di un sistema di gestione delle prestazioni basato su dati digitali da parte di un governo centrale e delle sue unità controllate, rispettivamente Ministero della Cultura italiano e 100 musei statali italiani. Mostrando che il funzionamento del sistema è compreso dagli utenti finali grazie ai risultati misurati dal sistema e grazie alle connessioni tra le misure delle prestazioni, il quarto articolo fornisce prove empiriche sulle sfide di contabilità (in inglese, accounting) e responsabilità (in inglese, accountability) incontrate lungo il processo della gestione delle prestazioni delle istituzioni del settore pubblico di informato attraverso modelli automatizzati di online UGT. Il contributo principale della mia tesi di dottorato è quello di combinare in un unico studio varie discipline che raramente comunicano tra loro, vale a dire la misurazione e gestione delle prestazioni organizzative (Performance Management), la gestione pubblica (Public Management), la modellazione del testo (Text Modelling) e l'analisi del comportamento degli utenti online (Online User Behaviour Analytics). Da un punto di vista accademico, la mia tesi di dottorato va oltre lo studio delle singole metriche per la misurazione delle prestazioni basate su dati digitali e apre una strada di ricerca potenzialmente ricca ma ancora poco studiata nella letteratura sulla gestione delle prestazioni del settore pubblico. Nello specifico, la mia tesi mostra le implicazioni in termini di input, processo e output dell'introduzione nella gestione delle prestazioni in ambito pubblico di misure dinamiche e soggettive, derivanti da modelli automatizzati per l’elaborazione delle percezioni degli utenti in relazione ai servizi pubblici. Da un punto di vista pratico, la mia tesi di dottorato fornisce interessanti evidenze agli operatori del settore pubblico e ai responsabili politici sugli effetti dell'utilizzo della modellazione automatizzata di online UGT per supportare la gestione delle prestazioni delle istituzioni in ambito pubblico. Ciò include esempi di potenziali distorsioni che possono essere introdotte nella definizione di standard e linee guida per la gestione delle prestazioni nel settore pubblico derivanti dalla modellizzazione automatizzata di online UGT ed esempi di approcci che possono essere presi in considerazione per facilitare l'allineamento degli obiettivi di erogazione dei servizi delle istituzioni del settore pubblico con scopi sociali e civici più ampi.
Tesi di Dottorato
File allegati
File Dimensione Formato  
PhDdissertation_RivaPaola.pdf

solo utenti autorizzati a partire dal 13/04/2026

Descrizione: Ph.D. dissertation of Paola Riva
Dimensione 2.98 MB
Formato Adobe PDF
  Visualizza/Apri
2.98 MB Adobe PDF   Visualizza/Apri

I documenti in POLITesi sono protetti da copyright e tutti i diritti sono riservati, salvo diversa indicazione.

Utilizza questo identificativo per citare o creare un link a questo documento: https://hdl.handle.net/10589/201560