AI-DIVINE: the design of an LLM-powered document validation system

The validation of classified documents for critical infrastructures, such as the European Space Agency’s (ESA) Galileo satellite program, is a mission-critical process. However, its reliance on manual, page-by-page inspection by security-cleared experts creates a significant operational bottleneck that is slow, costly, and introduces the risk of human error in an environment where precision is non-negotiable. This thesis addresses the challenge of automating document validation within a high-security, air-gapped environment. This context renders prevalent cloud-based AI solutions unsuitable for this purpose. It demands a system that is not only intelligent but also secure, auditable, and capable of operating entirely offline without access to external resources. I designed, built, and validated AI-DIVINE, a novel hybrid system that intelligently synthesizes two approaches. It retains a deterministic, rule-based engine for transparent and auditable validation of structured requirements, while integrating a local, offline Large Language Model (LLM) to handle ambiguous tasks that require contextual understanding. The architecture features a fault-tolerant, multi-layered fallback mechanism that cross-validates LLM outputs against redundant data sources to mitigate the risk of AI hallucination actively. The hybrid system proved demonstrably superior to a purely rule-based approach in expert-led evaluations on real-world classified documents. It dramatically improved metadata extraction accuracy in semantic fields, increasing long title identification from an 18% failure rate to 77% success, while also enhancing PRS and classification accuracy to 91% and 100%, respectively. This was achieved without compromising the high processing speeds of the baseline, transforming a costly bottleneck into a robust and reliable "digital co-pilot" for ESA's documentalists. This research delivers a validated framework for deploying trustworthy LLM-powered systems in secure, offline environments, demonstrating that the benefits of modern AI can be harnessed without compromising data sovereignty. Furthermore, it provides a rare, empirical counterpoint to SOTA, demonstrating the practical infeasibility of fine-tuning in data-prohibited settings and validating advanced prompt engineering as a more pragmatic and successful strategy for high-constraint applications.

La validazione di documenti classificati per infrastrutture critiche, come il programma satellitare Galileo dell'Agenzia Spaziale Europea (ESA), è un processo mission-critical. Tuttavia, la sua dipendenza dall'ispezione manuale, pagina per pagina, da parte di esperti con nulla osta di sicurezza crea un significativo bottleneck operativo: un'attività lenta, costosa e che introduce il rischio di errore umano in un contesto dove la precisione è un requisito non negoziabile. Questa tesi affronta la sfida di automatizzare la validazione dei documenti in un ambiente ad alta sicurezza (air-gapped). Tale contesto rende le prevalenti soluzioni di IA basate su cloud inadatte a questo scopo, richiedendo un sistema che sia non solo intelligente, ma anche sicuro, verificabile e in grado di operare in modo completamente offline, senza accesso a risorse esterne. Ho progettato, implementato e validato AI-DIVINE, un sistema ibrido innovativo che sintetizza intelligentemente due approcci. Il sistema mantiene un motore deterministico basato su regole per la validazione trasparente e auditabile dei requisiti strutturati, integrando al contempo un Large Language Model (LLM) locale e offline per gestire compiti ambigui che richiedono una comprensione contestuale. L'architettura è dotata di un meccanismo di fallback multi-livello e tollerante ai guasti, che convalida in modo incrociato gli output dell'LLM rispetto a fonti di dati ridondanti per mitigare attivamente il rischio di allucinazione dell'IA. Nelle valutazioni condotte da esperti su documenti classificati reali, il sistema ibrido si è dimostrato nettamente superiore all'approccio puramente basato su regole. Ha migliorato drasticamente l'accuratezza nell'estrazione dei metadati nei campi semantici, aumentando l'accuratezza nell'identificazione del titolo esteso da un fallimentare 18% al 77%, e portando l'accuratezza per il PRS e la classificazione rispettivamente al 91% e al 100%. Questo risultato è stato ottenuto senza compromettere l'elevata velocità di elaborazione della baseline, trasformando un costoso bottleneck in un "co-pilot digitale" robusto e affidabile per i documentalisti dell'ESA. Questa ricerca fornisce un framework validato per l'implementazione di sistemi affidabili basati su LLM in ambienti sicuri e offline, dimostrando che i benefici dell'IA moderna possono essere sfruttati senza compromettere la sovranità dei dati. Inoltre, offre un raro controesempio empirico allo stato dell'arte (SOTA), provando l'inattuabilità pratica del fine-tuning in contesti con restrizioni sull'accesso ai dati e validando il prompt engineering avanzato come strategia più pragmatica e di successo per applicazioni con vincoli stringenti.