LLM as a judge: automating chatbot monitoring and the philosophical divide between trust and reliance

This thesis focuses on implementing a promising yet emerging approach in automated text evaluation known as LLM as a judge. In doing so, it is proposed a division of task approach that allows each module to further specialize on a specific step of the pipeline, optimizing the performance and improving the cost profile. The specific implementation focuses on automating the monitoring process of a customer assistance chatbot in the insurance sector. Because a task such as this one requires capabilities that were recently only found in the human intellect, such task delegation raises important philosophical questions about the trustworthiness of the system. Beyond the technical implementation, the thesis delves into the philosophical debate surrounding the trustworthiness of AI systems, highlighting the distinction between reliance and trustworthiness. The thesis argues in favor of focusing on reliance, cautioning against the misleading assumption that AI systems, despite their effectiveness, can be inherently trustworthy in the same way humans are. This distinction is particularly important as AI systems increasingly influence decisions and shape interactions in critical areas of society. Although the specific use case of this thesis is limited to the insurance sector, the potential consequences that the LLM as a judge approach can have on society when applied to high-stake areas like the legal or healthcare one could be more serious. The research also examines the broader societal implications of relying on AI systems, especially in contexts where transparency, accountability, and human oversight are essential. To help frame these reflections into concrete cases, the analysis draws from the European Ethics Guidelines for Trustworthy AI, arguing for a more appropriate naming of reliable AI and showing how practical ethical frameworks can guide the development and deployment of reliable AI. Ultimately, the thesis advocates for reliable AI systems that prioritize performance, transparency, and ethical alignment rather than fostering misplaced trust in systems that still lack fundamental human properties such as intentionality, contextual understanding, and genuine accountability. This latter aspect is discussed in details as it is considered to be highly relevant to the topic of AI trustworthiness.

La tesi si concentra sull’implementazione di un approccio emergente e promettente nella valutazione automatizzata del testo, noto come LLM as a judge. Viene proposto un modello di suddivisione dei compiti che consente a ogni modulo di specializzarsi in uno specifico stadio della pipeline, ottimizzando così le prestazioni e migliorando il profilo dei costi. L’applicazione specifica riguarda l’automazione del processo di monitoraggio di un chatbot di assistenza clienti nel settore assicurativo. Poiché un compito di questo tipo richiede capacità che fino a poco tempo fa risiedevano esclusivamente nell’intelletto umano, l’assegnazione di tali attività solleva importanti questioni filosofiche riguardo all’affidabilità del sistema. Oltre all’aspetto tecnico, la tesi approfondisce il dibattito filosofico relativo alla trustworthiness dei sistemi di intelligenza artificiale, evidenziando la distinzione tra reliance e trustworthiness. La tesi sostiene la necessità di concentrarsi sulla reliance, mettendo in guardia contro l’idea fuorviante che i sistemi di intelligenza artificiale, pur essendo efficaci, possano essere intrinsecamente trustworthy nello stesso modo in cui lo sono gli esseri umani. Questa distinzione è particolarmente importante poiché i sistemi di IA influenzano sempre più le decisioni e plasmano le interazioni in ambiti critici della società. Sebbene l’uso specifico di questa tesi sia limitato al settore assicurativo, le conseguenze potenzialmente derivanti dall’approccio LLM as a judge in settori ad alto impatto come quello legale o sanitario potrebbero essere molto più gravi. La ricerca esamina inoltre le implicazioni sociali più ampie dell’affidarsi ai sistemi di IA, soprattutto in contesti in cui trasparenza, responsabilità e supervisione umana sono fondamentali. Per inquadrare queste riflessioni in casi concreti, l’analisi fa riferimento alle European Ethics Guidelines for Trustworthy AI, sostenendo l’adozione di un termine più appropriato come reliable AI e dimostrando come tali framework etici possano guidare lo sviluppo e l’implementazione di sistemi di IA affidabili. In definitiva, la tesi sostiene la necessità di sistemi di IA reliable, che diano priorità alle prestazioni, alla trasparenza e all’allineamento etico, piuttosto che alimentare una fiducia mal riposta in sistemi che ancora mancano di proprietà umane fondamentali quali intenzionalità, comprensione del contesto e responsabilità. Quest’ultimo aspetto viene discusso in dettaglio, poiché è considerato di grande rilievo per il tema della trustworthy AI.