Enhancing Corporate Information Retrieval: Sensitivity Analysis in Retrieval-Augmented Generation Applications

This thesis examines improving corporate information retrieval using sensitivity analysis in Retrieval-Augmented Generation (RAG) applications. RAG models combine retrieval systems and generative language models to produce more accurate and relevant responses. The research focuses on office workers’ challenges when dealing with numerous documents. The project involves creating and implementing a chatbot based on the RAG framework, which is mainly designed for corporate use. Key areas of focus in the RAG pipeline include document ingestion, chunking, embedding generation, chunk retrieval, and LLM answer. Significant improvements were made in chunking strategies to better handle document segmentation, parsing to increase preprocessing accuracy, and chunks reranking to refine the retrieval process. The performance of the model was evaluated using datasets that simulate real usage scenarios. This evaluation included multiple-choice assessments and long-form answer evaluations to measure the chatbot’s accuracy and response quality. The results highlight the effectiveness of the RAG model in improving information retrieval tasks and stress the importance of thorough preprocessing and embedding strategies. The thesis concludes by discussing the limitations of the current approach and providing suggestions for future research to enhance further the capabilities and applications of RAG models in corporate information systems.

Questa tesi esamina come migliorare il reperimento delle informazioni aziendali utilizzando l’analisi della sensibilità nelle applicazioni di Retrieval-Augmented Generation (RAG). I modelli RAG combinano sistemi di recupero e modelli linguistici generativi per produrre risposte più accurate e pertinenti. La ricerca si concentra sulle sfide che gli impiegati devono affrontare quando hanno a che fare con numerosi documenti. Il progetto prevede la creazione e l’implementazione di un chatbot basato sul framework RAG, progettato principalmente per uso aziendale. Le principali aree di interesse della pipeline RAG includono l’ingestione dei documenti, il chunking, la generazione di embedding, il reperimento dei chunks e la risposta dell’LLM. Sono stati apportati miglioramenti significativi alle strategie di chunking per gestire meglio la segmentazione dei documenti, al parsing per aumentare l’accuratezza della pre-elaborazione e al reranking dei chunks per perfezionare il processo di recupero. Le prestazioni del modello sono state valutate utilizzando dei datasets che simulassero scenari di utilizzo reali. Questa valutazione comprendeva valutazioni a scelta multipla e valutazioni di risposte lunghe per misurare l’accuratezza e la qualità delle risposte del chatbot. I risultati evidenziano l’efficacia del modello RAG nel migliorare i compiti di recupero delle informazioni e sottolineano l’importanza di un’accurata preelaborazione e di strategie di embedding. La tesi si conclude discutendo i limiti dell’approccio attuale e fornendo suggerimenti per la ricerca futura per migliorare ulteriormente le capacità e le applicazioni dei modelli RAG nei sistemi informativi aziendali.