Systematic design and evaluation of retrieval-augmented generation for structurally complex technical documentation

Industrial technical standards combine hierarchical text, tables, figures, and cross-references, making manual consultation demanding. Retrieval-Augmented Generation (RAG) can provide grounded natural-language access to verified documentation, but reliability requires preserving document structure and asset references across ingestion, retrieval, and generation. This thesis systematically designs, optimizes, and evaluates a RAG pipeline for structurally complex technical documentation, using Chapter 5 of the IPC-A-610F electronics assembly standard as a case study. Competing parsers are compared using structural, semantic, and asset-preservation measures. Because parser-derived synthetic benchmarks can inherit extraction artifacts, cross-parser testing is used to reduce the ingestion bias caused by circular evaluation. The selected representation supports sequential ablations of dense, sparse, hybrid, and reranked retrieval, followed by generation models and prompts, with asset-aware metrics tracking visual references across both stages. The results identify Docling as the most complete and representation-robust parser. The best retriever was a single-stage dense configuration using text-embedding-3-small, a three-chunk window, and no reranker. Domain-role framing eliminated refusal-style responses in the evaluated query set, while explicit reference-preservation instructions improved visual-reference retention. The frozen final configuration maintained stable performance on the quarantined synthetic holdout partition, recording a 1.3% relative decrease in the overall evaluation index compared with the optimization phase. The findings indicate that reliable RAG over technical documentation depends strongly on representation quality, reference preservation, and controlled pipeline evaluation, providing a reproducible basis for studying other structured technical corpora.

Gli standard tecnici industriali organizzano i requisiti in sezioni gerarchiche, tabelle, figure e rimandi incrociati, rendendo la consultazione manuale onerosa. I sistemi di Retrieval-Augmented Generation (RAG) consentono di interrogare in linguaggio naturale documentazione verificata, ma la loro affidabilità dipende dal mantenimento della struttura del documento e dei riferimenti visivi lungo l’intera pipeline. La tesi propone un metodo sistematico per progettare, ottimizzare e valutare sistemi RAG applicati a documentazione tecnica complessa, con il Capitolo 5 dello standard IPC-A-610F come caso di studio. La metodologia confronta diversi parser mediante indicatori strutturali, semantici e relativi alla conservazione dei riferimenti. Poiché i benchmark sintetici possono ereditare gli artefatti dei parser da cui derivano, la valutazione incrociata riduce il bias di ingestione dovuto alla valutazione circolare. Sulla rappresentazione selezionata si confrontano quindi configurazioni di retrieval denso, sparso, ibrido e con reranking, seguite da modelli generativi e strategie di prompting. Metriche specifiche verificano la presenza dei riferimenti a figure e tabelle nel contesto recuperato e nella risposta finale. I risultati individuano Docling come il parser più completo e stabile nella valutazione incrociata. La configurazione migliore adotta un retrieval denso con text-embedding-3-small, recuperando tre segmenti di testo e senza reranker. L’assegnazione di un ruolo specialistico elimina le risposte di rifiuto nelle query valutate, mentre istruzioni esplicite favoriscono la corretta citazione di figure e tabelle. La configurazione finale mantiene prestazioni stabili sul set sintetico di holdout, registrando una riduzione relativa dell’1,3% dell’indice complessivo rispetto alla fase di ottimizzazione. Nel complesso, l’affidabilità dei sistemi RAG per la documentazione tecnica dipende soprattutto dalla qualità della rappresentazione, dalla conservazione dei riferimenti e dalla valutazione controllata delle componenti; il metodo proposto offre una base riproducibile per studi su altri corpora tecnici strutturati.