Collaborative design reviews in virtual reality: a multimodal documentation system enhanced by Artificial Intelligence

In Industry 4.0 and 5.0, Virtual Reality (VR) is essential for Engineering Design Reviews. However, current VR systems act as "data silos," making the transition to formal engineering documentation a manual and time-consuming process. This thesis proposes an automated framework, acting as an "invisible observer," to bridge the gap between unstructured VR data and strict Systems Engineering metadata governance. The "Store-and-Forward" architecture consists of two modules. The Unity VR frontend non-intrusively captures real-time multimodal data (kinematic tracking, spatial voice annotations, and contextual screenshots). The asynchronous Python backend temporally aligns these logs into an "Augmented SRT" using the OpenAI Whisper model. Google Gemini 2.5 Flash then extracts technical decisions, and a deterministic compiler generates a formal LaTeX PDF report. The framework was empirically validated in collaboration with the Italian National Institute for Astrophysics (INAF). The case study simulated the review of maintenance procedures for the M7 optical unit of the MORFEO instrument, designed for the Extremely Large Telescope (ELT). Results highlight the excellent semantic accuracy of the Artificial Intelligence in handling domain-specific mechanical terminology. The system also drastically reduces approval times by generating reports in near real-time. Furthermore, it ensures forensic traceability by immutably linking actions and commands to specific operators. Finally, usability metrics—including a System Usability Scale (SUS) score of 88.1 and low cognitive load measured by the NASA-TLX—confirm the effectiveness of the hands-free approach, even for non-expert users. These findings demonstrate that the framework successfully transforms VR from a mere visualization tool into a traceable asset fully integrated into the product lifecycle.

Nell'ambito dell'Industry 4.0 e 5.0, la Realtà Virtuale (VR) è uno strumento fondamentale per le Engineering Design Reviews. Tuttavia, gli attuali sistemi VR operano come "silos di dati", rendendo manuale e oneroso il passaggio dall'ispezione immersiva alla documentazione formale. Questa tesi propone un framework automatizzato, concepito come un "osservatore invisibile", per colmare il divario tra i dati VR non strutturati e la rigorosa governance richiesta dal Systems Engineering. L'architettura "Store-and-Forward" si divide in due moduli. Il frontend VR in Unity acquisisce dati multimodali in tempo reale e in modo non intrusivo (tracciamento cinematico, annotazioni vocali spaziali e screenshot contestuali). Il backend asincrono in Python allinea questi log in un "Augmented SRT" tramite il modello OpenAI Whisper. Successivamente, il Large Language Model Google Gemini 2.5 Flash estrae le decisioni tecniche, che un compilatore deterministico trasforma in un report PDF formale in formato LaTeX. Il framework è stato validato empiricamente in collaborazione con l'Istituto Nazionale di Astrofisica (INAF), simulando la revisione delle procedure di manutenzione dell'unità ottica M7 per lo strumento MORFEO, destinato all'Extremely Large Telescope (ELT). I risultati evidenziano l'eccellente accuratezza semantica dell'Intelligenza Artificiale nel gestire la terminologia meccanica di dominio e una drastica riduzione dei tempi di approvazione grazie alla generazione dei report in modalità near real-time. Inoltre, il sistema garantisce tracciabilità forense, associando azioni e comandi a specifici operatori. Infine, le metriche di usabilità, con un punteggio System Usability Scale (SUS) pari a 88.1 e un basso carico cognitivo rilevato dal NASA-TLX, confermano l'efficacia dell'approccio hands-free anche per utenti non esperti, dimostrando che il framework trasforma la VR da un mero strumento di visualizzazione a un asset tracciabile e pienamente integrato nel ciclo di vita del prodotto.