Evaluating objectivity in journalism: humans vs. large Language Models

Nowadays, online news has revolutionized the way information is produced and consumed, with content becoming increasingly accessible and abundant. This rapid growth has made it necessary to use textual analysis to identify possible forms of bias and, consequently, assess the impact of news on public opinion. Bias in journalism refers to prejudices based on the journalist's assumptions that can lead to a limited and distorted representation of reality. These can manifest in different ways, such as the omission of facts, the tone and selection of opinions reported, and can concern different fields, from politics to ethnicity to gender. Their absence is essential to achieving one of the fundamental principles of journalism: objectivity. This thesis aims to investigate how Large Language Models (LLMs) can help identify objectivity in news thanks to their ability to interpret context and perform complex natural language processing. The study takes a comparative approach between the newspapers written by humans and those generated by LLMs. The first task is to distinguish between facts and opinions; then, the facts are subjected to open information extraction to generate triples of a semantic graph, while opinions are subjected to sentiment analysis. The aim is to extract the maximum amount of information and, through comparative analysis, identify possible divergences or convergences between the sources.

Al giorno d’oggi, le notizie di giornale online hanno rivoluzionato il modo in cui l’informazione viene prodotta e consumata, i cui contenuti risultano sempre più facilmente accessibili e allo stesso tempo più numerosi. Questa rapida crescita ha reso necessario l’uso di analisi testuali per individuare possibili forme di bias e, di conseguenza, valutare l’impatto delle notizie sull’opinione pubblica. Il bias nel giornalismo si riferisce ai pregiudizi basati su presupposti del giornalista che possono portare a una rappresentazione limitata e distorta della realtà. Questi possono manifestarsi in diverse modalità, come l’omissione dei fatti, il tono e selezione delle opinioni riportate, e possono riguardare differenti ambiti, dal politico all'etnico al genere. La loro assenza è essenziale per il raggiungimento di uno dei principi fondamentali del giornalismo: l’obiettività. Questa tesi si propone di indagare in che modo i Large Language Models (LLMs) possano aiutare a identificare l’obiettività nelle notizie, grazie alla loro capacità di comprendere il contesto e di svolgere complesse elaborazioni del linguaggio naturale. Lo studio segue un approccio comparativo tra giornali scritti da umani e quelli generati da LLMs. Il primo compito è la distinzione di fatti e opinioni, poi i fatti sono sottoposti a un’analisi di open information extraction per la generazione di triple di un grafo semantico, mentre le opinioni vengono sottoposte a un’analisi di sentiment. Lo scopo è estrarre il maggior valore informativo e mediante un’analisi comparativa, individuare possibili divergenze o convergenze tra le diverse fonti.