Investigating belief persistence in LLMs under opposing evidence: a comparative study

LLMs (Large Language Models) have increasingly become a part of everyday life in various areas such as academia, journalism, business, and even personal discussions. However, this rapidly growing technology raises concerns of trustworthiness, making it important to better understand its limitations. In this thesis, we study LLM hallucination by quantifying how resistant models are to opposing evidence, and whether their initial confidence plays a role in this resistance. We construct a dataset comprised of True/False questions, each paired with more than five convincing correct and incorrect documents. Each LLM is first prompted with a question alone, and its baseline belief is measured using the log probabilities of its output tokens. Then, we incrementally introduce documents, observing the shift in LLM belief according to document ratio, initial confidence, and model type. Our empirical analysis reveals that belief shift is strongly influenced by model scale, initial confidence, and the temporal ordering of evidence. Larger, instruction-tuned models show greater adaptability to new information and increased robustness to ordering effects, while smaller models tend to anchor more strongly to their initial beliefs, relying heavily on initial confidence and exhibiting heightened sensitivity to evidence sequencing. These findings reveal fundamental trade-offs between responsiveness, stability, and reliability in LLM reasoning, and offer a systematic framework for understanding how hallucinations can persist when models are exposed to mixed or conflicting evidence.

I modelli linguistici di grandi dimensioni (LLM, Large Language Models) sono diventati sempre più parte della vita quotidiana in diversi ambiti, come il mondo accademico, il giornalismo, il business e persino le discussioni personali. Tuttavia, questa tecnologia in rapida crescita solleva preoccupazioni riguardo alla sua affidabilità, rendendo importante comprendere meglio i suoi limiti. In questa tesi, studiamo le allucinazioni degli LLM quantificando quanto i modelli siano resistenti a prove contrarie e se la loro fiducia iniziale giochi un ruolo in questa resistenza. Costruiamo un dataset composto da domande Vero/Falso, ciascuna associata a più di cinque documenti convincenti corretti e incorrect. Ogni LLM viene inizialmente interrogato con la sola domanda, e la sua credenza di base viene misurata utilizzando le probabilità logaritmiche dei token generati. Successivamente, introduciamo progressivamente i documenti, osservando lo spostamento della credenza dell’LLM in funzione del rapporto tra documenti corretti e incorrect, della fiducia iniziale e del tipo di modello. La nostra analisi empirica rivela che lo spostamento della credenza è fortemente influenzato dalla scala del modello, dalla fiducia iniziale e dall’ordine temporale delle prove. I modelli più grandi e istruiti tramite instruction tuning mostrano una maggiore capacità di adattamento alle nuove informazioni e una maggiore robustezza agli effetti dell’ordine di presentazione, mentre i modelli più piccoli tendono ad ancorarsi più fortemente alle loro credenze iniziali, facendo maggiore affidamento sulla fiducia iniziale e mostrando una maggiore sensibilità alla sequenza delle prove. Questi risultati evidenziano compromessi fondamentali tra reattività, stabilità e affidabilità nel ragionamento degli LLM e offrono un quadro sistematico per comprendere come le allucinazioni possano persistere quando i modelli sono esposti a prove miste o contrastanti.