Design and implementation of an agentic RAG system for evaluating RFP responses

In many companies, evaluating responses to Requests for Proposals (RFPs) is still a manual and time-consuming task. This thesis explores how artificial intelligence, and in particular large language models (LLMs), can help automate this process. The project introduces a system made of several agents that work together in steps — first by extract- ing documents, then finding useful information, and finally judging the quality of each bidder’s response. The core idea is to use Retrieval-Augmented Generation (RAG) along with vector-based similarity search to match answers with supporting documents. The system doesn’t just score responses; it looks at each part of a question separately, checks how complete the answer is, and suggests improvements when needed. At the end, it compares all bidders and produces a report that ranks them fairly and transparently. This solution was tested on real RFPs and performed well in generating readable and logical evaluations. Unlike traditional tools or human scoring, this approach is scalable and easier to explain. The project shows how language models, when used carefully, can support decision-making in complex technical settings

In molte aziende, la valutazione delle risposte alle richieste di offerta (RFP) è ancora un’attività manuale, lunga e soggetta a errori. Questa tesi esplora come l’intelligenza ar- tificiale, e in particolare i modelli linguistici di grandi dimensioni (LLM), possa supportare e in parte automatizzare questo processo. Il progetto presenta un sistema formato da più agenti che operano in sequenza: dall’estrazione dei documenti alla valutazione della com- pletezza e qualità delle risposte. cuore del sistema si basa su Retrieval-Augmented Generation (RAG) e sulla ricerca se- mantica tramite vettori, per collegare le risposte fornite dai partecipanti con i documenti di supporto. A differenza degli strumenti classici, il sistema analizza le risposte scompo- nendole in sotto-domande, valuta se ogni parte è stata affrontata, e suggerisce migliora- menti. Infine, confronta tutti i partecipanti e genera un report con punteggi e classifiche comprensibili. sistema è stato testato su casi reali e ha mostrato risultati coerenti e spiegabili. Rispetto alla valutazione manuale, questo approccio è più trasparente, flessibile e adatto a scenari complessi dove serve prendere decisioni basate su molti documenti.