Large Language Models are becoming a popular and widespread tool and people are starting to rely more and more on them globally as virtual assistants. The information produced by those tools is not always certified to come from verified sources, nor guaranteed to be truthful. Hallucinations are a common phenomena in Large Language Models: if the model does not have sufficient knowledge about the topic at hand it will start filling in the gaps with plausible but made up knowledge. This thesis will try to investigate where Large Language Models take their information from and where they claim their provenance comes from, comparing the two and looking for potential similarities. Through the use of selected datasets then the model is tested to see how it performs on data where the provenance is known, showing mildly optimistic results but with occurrences of misinformation and hallucinations still happening frequently enough. An idea of a possible mitigation is then offered, alongside reflections on the current state of the industry and its rapidly evolving environment.

I Large Language Models stanno diventanto degli strumenti popolari e comunemente diffusi, le persone stanno iniziando a fare sempre più affidamento sulle loro capacità di assistenti virtuali. Le informazioni ottenute da questi strumenti non sono garantite di venire da fonti verificate e non sono nemmeno garantite di essere vere. Un fenomeno comune nei Large Language Models sono le allucinazioni, quando il modello non ha informazioni sufficienti sull'argomento in questione, esso inizierà a colmare i vuoti con informazioni verosimili ma inventate. Durante questa tesi si tenterà di investigare da dove vengono prese queste informazioni e da dove il modello dice di prenderle. Queste due cose verranno poi confrontate e le similarità analizzate. Grazie all'uso di dataset appositamente selezionati, il modello verrà testato per vedere come si comporta a confronto di dati la quale provenienza è nota, dimostrando moderato ottimismo nei risultati, ma con ancora troppe occorrenze di allucinazioni e disinformazione. Verrà successivamente offerta una idea per potenzialmente mitigare questo problema, insieme a considerazioni sullo stato corrente e futuro di questa industria che si sta sviluppando sempre più velocemente.

Investigating LLM reliability through provenance analysis

D'IAPICO, ANDREA
2022/2023

Abstract

Large Language Models are becoming a popular and widespread tool and people are starting to rely more and more on them globally as virtual assistants. The information produced by those tools is not always certified to come from verified sources, nor guaranteed to be truthful. Hallucinations are a common phenomena in Large Language Models: if the model does not have sufficient knowledge about the topic at hand it will start filling in the gaps with plausible but made up knowledge. This thesis will try to investigate where Large Language Models take their information from and where they claim their provenance comes from, comparing the two and looking for potential similarities. Through the use of selected datasets then the model is tested to see how it performs on data where the provenance is known, showing mildly optimistic results but with occurrences of misinformation and hallucinations still happening frequently enough. An idea of a possible mitigation is then offered, alongside reflections on the current state of the industry and its rapidly evolving environment.
ING - Scuola di Ingegneria Industriale e dell'Informazione
9-apr-2024
2022/2023
I Large Language Models stanno diventanto degli strumenti popolari e comunemente diffusi, le persone stanno iniziando a fare sempre più affidamento sulle loro capacità di assistenti virtuali. Le informazioni ottenute da questi strumenti non sono garantite di venire da fonti verificate e non sono nemmeno garantite di essere vere. Un fenomeno comune nei Large Language Models sono le allucinazioni, quando il modello non ha informazioni sufficienti sull'argomento in questione, esso inizierà a colmare i vuoti con informazioni verosimili ma inventate. Durante questa tesi si tenterà di investigare da dove vengono prese queste informazioni e da dove il modello dice di prenderle. Queste due cose verranno poi confrontate e le similarità analizzate. Grazie all'uso di dataset appositamente selezionati, il modello verrà testato per vedere come si comporta a confronto di dati la quale provenienza è nota, dimostrando moderato ottimismo nei risultati, ma con ancora troppe occorrenze di allucinazioni e disinformazione. Verrà successivamente offerta una idea per potenzialmente mitigare questo problema, insieme a considerazioni sullo stato corrente e futuro di questa industria che si sta sviluppando sempre più velocemente.
File allegati
File Dimensione Formato  
2024_04_D_Iapico_Tesi_01.pdf

accessibile in internet solo dagli utenti autorizzati

Descrizione: Testo della tesi
Dimensione 2.19 MB
Formato Adobe PDF
2.19 MB Adobe PDF   Visualizza/Apri
2024_04_D_Iapico_Executive_Summary_02.pdf

accessibile in internet solo dagli utenti autorizzati

Descrizione: Executive Summary
Dimensione 369.64 kB
Formato Adobe PDF
369.64 kB Adobe PDF   Visualizza/Apri

I documenti in POLITesi sono protetti da copyright e tutti i diritti sono riservati, salvo diversa indicazione.

Utilizza questo identificativo per citare o creare un link a questo documento: https://hdl.handle.net/10589/218477