Expert decision-making in research funding: understanding how evaluators shape innovation through their judgments

Expert evaluation represents the core of research funding systems, yet significant gaps remain in understanding its effectiveness and underlying processes. This dissertation examines the individual and collective factors that determine research funding decisions through three complementary empirical studies. The first study investigates whether domain expertise actually improves evaluators' predictive ability. Using large language models to measure expertise through semantic similarity between evaluator publications and proposal content, analysis of 16,636 evaluations from the Novo Nordisk Foundation shows that expert evaluations significantly predict research outcomes (publications, citations, public attention, societal impact). In contrast, non-expert evaluations show no predictive power. However, experts tend toward overconfidence in positive evaluations, suggesting systematic biases in expert judgment. The second study examines how evaluators combine multiple assessment criteria into overall judgments, revealing misalignment between agencies' stated priorities and actual evaluators’ ones. A review of 2,105 reports from the Swedish Foundation for Strategic Research reveals that evaluators weight research quality twice as heavily as strategic relevance and four times more than principal investigator qualifications, despite the stated emphasis on relevance. Also, evaluators with greater expertise rely less on reputational qualifications, while less competent evaluators use such indicators as fallback strategies. The third study explores social dynamics of evaluation through analysis of innovation champions—evaluators who support projects disregarded by others. An analysis of 3,560 innovation project evaluations shows that champion support increases funding probability by 6.4%, but their effectiveness varies significantly based on social status characteristics: champions with greater organizational tenure and PhD credentials are more influential, while, surprisingly, entrepreneurial experience does not have effect. Overall, the research reveals that domain expertise provides real predictive advantages in research evaluation contexts, extending information processing theory to evaluation contexts. However, evaluation processes are influenced by implicit priorities, systematic biases, and social dynamics that may deviate from institutional intentions. Results suggest the need for evaluation systems that harness specialized expertise advantages while addressing limitations through careful process design, conscious evaluator selection, and approaches that balance diverse perspectives.

La valutazione esperta rappresenta il fulcro dei sistemi di finanziamento della ricerca, ma permangono significative lacune nella comprensione della sua efficacia e dei processi sottostanti. Questa tesi esamina i fattori individuali e collettivi che determinano le decisioni di finanziamento della ricerca attraverso tre studi empirici complementari. Il primo studio indaga se la competenza disciplinare migliori effettivamente la capacità predittiva dei valutatori. Utilizzando modelli linguistici di grandi dimensioni per misurare l’expertise attraverso la similarità semantica tra le pubblicazioni dei valutatori e il contenuto delle proposte, l’analisi di 16.636 valutazioni della Novo Nordisk Foundation mostra che le valutazioni degli esperti predicono in modo significativo i risultati della ricerca (pubblicazioni, citazioni, attenzione pubblica, impatto sociale). Al contrario, le valutazioni dei non esperti non mostrano alcun potere predittivo. Tuttavia, gli esperti tendono a manifestare un’eccessiva fiducia nelle valutazioni positive, suggerendo la presenza di bias sistematici nel giudizio esperto. Il secondo studio esamina come i valutatori combinino criteri multipli di valutazione in un giudizio complessivo, rivelando una discrepanza tra le priorità dichiarate dalle agenzie e quelle effettivamente applicate dai valutatori. L’analisi di 2.105 relazioni della Swedish Foundation for Strategic Research evidenzia che i valutatori attribuiscono alla qualità della ricerca un peso doppio rispetto alla rilevanza strategica e quadruplo rispetto alle qualifiche del responsabile scientifico, nonostante l’enfasi dichiarata sulla rilevanza. Inoltre, i valutatori con maggiore competenza fanno meno affidamento su indicatori reputazionali, mentre quelli meno competenti li utilizzano come strategie compensative. Il terzo studio esplora le dinamiche sociali della valutazione attraverso l’analisi dei cosiddetti “innovation champions” — valutatori che sostengono progetti trascurati dagli altri. L’analisi di 3.560 valutazioni di progetti di innovazione mostra che il supporto di un champion aumenta la probabilità di finanziamento del 6,4%, ma la loro efficacia varia significativamente in base a caratteristiche di status sociale: i champion con maggiore anzianità organizzativa e con titolo di dottorato risultano più influenti, mentre, sorprendentemente, l’esperienza imprenditoriale non produce effetti significativi. Nel complesso, la ricerca evidenzia che la competenza disciplinare fornisce reali vantaggi predittivi nei contesti di valutazione della ricerca, estendendo la teoria dell’elaborazione dell’informazione ai processi valutativi. Tuttavia, i processi di valutazione sono influenzati da priorità implicite, bias sistematici e dinamiche sociali che possono discostarsi dalle intenzioni istituzionali. I risultati suggeriscono la necessità di sistemi di valutazione capaci di valorizzare i vantaggi dell’expertise specialistica, affrontandone al contempo i limiti attraverso un’attenta progettazione dei processi, una selezione consapevole dei valutatori e approcci che bilancino prospettive diverse.