Large Language Models are becoming a popular and widespread tool and people are starting to rely more and more on them globally as virtual assistants. The information produced by those tools is not always certified to come from verified sources, nor guaranteed to be truthful. Hallucinations are a common phenomena in Large Language Models: if the model does not have sufficient knowledge about the topic at hand it will start filling in the gaps with plausible but made up knowledge. This thesis will try to investigate where Large Language Models take their information from and where they claim their provenance comes from, comparing the two and looking for potential similarities. Through the use of selected datasets then the model is tested to see how it performs on data where the provenance is known, showing mildly optimistic results but with occurrences of misinformation and hallucinations still happening frequently enough. An idea of a possible mitigation is then offered, alongside reflections on the current state of the industry and its rapidly evolving environment.
I Large Language Models stanno diventanto degli strumenti popolari e comunemente diffusi, le persone stanno iniziando a fare sempre più affidamento sulle loro capacità di assistenti virtuali. Le informazioni ottenute da questi strumenti non sono garantite di venire da fonti verificate e non sono nemmeno garantite di essere vere. Un fenomeno comune nei Large Language Models sono le allucinazioni, quando il modello non ha informazioni sufficienti sull'argomento in questione, esso inizierà a colmare i vuoti con informazioni verosimili ma inventate. Durante questa tesi si tenterà di investigare da dove vengono prese queste informazioni e da dove il modello dice di prenderle. Queste due cose verranno poi confrontate e le similarità analizzate. Grazie all'uso di dataset appositamente selezionati, il modello verrà testato per vedere come si comporta a confronto di dati la quale provenienza è nota, dimostrando moderato ottimismo nei risultati, ma con ancora troppe occorrenze di allucinazioni e disinformazione. Verrà successivamente offerta una idea per potenzialmente mitigare questo problema, insieme a considerazioni sullo stato corrente e futuro di questa industria che si sta sviluppando sempre più velocemente.
Investigating LLM reliability through provenance analysis
D'IAPICO, ANDREA
2022/2023
Abstract
Large Language Models are becoming a popular and widespread tool and people are starting to rely more and more on them globally as virtual assistants. The information produced by those tools is not always certified to come from verified sources, nor guaranteed to be truthful. Hallucinations are a common phenomena in Large Language Models: if the model does not have sufficient knowledge about the topic at hand it will start filling in the gaps with plausible but made up knowledge. This thesis will try to investigate where Large Language Models take their information from and where they claim their provenance comes from, comparing the two and looking for potential similarities. Through the use of selected datasets then the model is tested to see how it performs on data where the provenance is known, showing mildly optimistic results but with occurrences of misinformation and hallucinations still happening frequently enough. An idea of a possible mitigation is then offered, alongside reflections on the current state of the industry and its rapidly evolving environment.File | Dimensione | Formato | |
---|---|---|---|
2024_04_D_Iapico_Tesi_01.pdf
accessibile in internet solo dagli utenti autorizzati
Descrizione: Testo della tesi
Dimensione
2.19 MB
Formato
Adobe PDF
|
2.19 MB | Adobe PDF | Visualizza/Apri |
2024_04_D_Iapico_Executive_Summary_02.pdf
accessibile in internet solo dagli utenti autorizzati
Descrizione: Executive Summary
Dimensione
369.64 kB
Formato
Adobe PDF
|
369.64 kB | Adobe PDF | Visualizza/Apri |
I documenti in POLITesi sono protetti da copyright e tutti i diritti sono riservati, salvo diversa indicazione.
https://hdl.handle.net/10589/218477