Media bias and AI: evaluating Large Language Models' neutralization of politically biased news articles

In today’s politically and media-driven landscape, ensuring access to unbiased information is essential for the proper functioning of democracy. Powerful AI tools, such as Large Language Models (LLMs), are increasingly being used for everyday tasks. While these tools offer remarkable capabilities, they also have the potential to amplify existing biases. Particularly, as LLMs can be employed in the news industry for summarizing news, it is important to be cautious about the potential media bias they may intensify. In this work, I analyze the behavior of three recent Large Language Models (LLMs) when tasked with summarizing and rewriting one or two politically biased news articles about the same event. The analysis involves examining the polarity of the chosen words using arousal scores from the VAD lexicon, and classifying the political bias of the generated outputs into one of three categories: Left-biased, Right-biased, or Neutral. The results show that the models generally reduce the lexical arousal level of the input news articles. However, the arousal level is not consistently linked to the political bias classification assigned by the classifier I trained. Overall, while LLMs’ generations exhibit a substantial degree of neutralization from a lexical perspective, a significant portion of the generated outputs is classified as Right-biased by the newly created classifier.

Nel contesto politico e mediatico odierno, garantire l’accesso a informazioni imparziali è essenziale per il corretto funzionamento della democrazia. Strumenti AI, come i Large Language Model (LLM), vengono sempre più utilizzati nella vita quotidiana. Sebbene questi strumenti offrano grandi potenzialità, possono anche amplificare i pregiudizi esistenti. In particolare, poiché gli LLM possono essere impiegati nel settore delle notizie per riassumere articoli di giornale, è importante essere cauti riguardo ai potenziali bias mediatici e politici che potrebbero intensificare. In questo lavoro, analizzo il comportamento di tre recenti LLM quando vengono incaricati di riassumere e riscrivere uno o due articoli politicamente di parte riguardanti lo stesso evento. L’analisi comporta l’esame della polarità delle parole scelte utilizzando i valori di arousal descritti dal VAD lexicon e la classificazione del bias politico dei testi generati in una delle tre seguenti categorie: Left-bias, Right-bias o Neutral. I risultati mostrano che i modelli riducono generalmente il livello di arousal lessicale degli articoli in input. Tuttavia, il livello di arousal non è collegato in modo stabile alla classificazione del bias politico assegnata dal classificatore che ho addestrato. Nel complesso, sebbene le generazioni degli LLM mostrino un sostanziale grado di neutralizzazione rispetto agli articoli in input da un punto di vista lessicale, una parte significativa degli output generati è classificata come Right-biased dal classificatore creato.