Mixed reality applications as support for the maintenance of monumental architectures

The work concerns the application of Industry 4.0 principles to the world of cultural heritage, developing a mixed reality application to support maintenance works inside monumental environments. Terms like Industry 4.0 and eXtended Reality are changing how professionals work. Due to the use of new technologies and the mass acquisition of data at different production line levels, a great deal of information is produced within the fabrication process. Nowadays, there is an increasing need to access these data on-site and in real-time, increasing the ability for information exchange and updating. Many fields benefit from these technologies, including assembly and disassembly, human-robot interaction, medicine, and the AECO (Architecture, Engineering, Construction, and Operation) sectors. The world of cultural heritage struggles to keep up with applications mainly devoted to education and tourism. Nevertheless, if we look at different monumental heritage architectures, it is possible to see that their building sites are as alive as those of new constructions, with complex necessities for the planning of inspections and maintenance interventions. The research means to explore the possibility of creating a mixed realty system to support the maintenance activities in complex monumental architectures that could be virtually scaled to the necessities of all heritage buildings. Many different problems should be tackled: the creation of the 3D model acting as the backbone of the application; the positioning of the virtual content in the real world; the referencing of data for 1:1 superimposition; the creation of a meaningful and ad hoc user interface; the connection to an external database where information is stored. The first point becomes nearly impossible with complex cultural heritage objects; for this reason, the proposal is to use 3D point clouds coming from the survey activity instead of classic 3D NURBS or mesh models. Artificial Intelligence enabled semi-automatic processes to enrich the point models with semantic content, which was mandatory to avoid a manual and time-consuming modeling process. Hence, the first part of the work focuses on the application of machine learning algorithms for the segmentation of huge point cloud datasets produced during survey activities. The second part instead will deal with the definition of the necessary steps to create a mixed reality application that could be used on-site to improve heritage management and virtual understanding, allowing for rationalization of intervention planning as well as better data management and information exchange. Emblematic of the systematic maintenance and conservation activities performed by the Veneranda Fabbrica del Duomo di Milano, Milan Cathedral constitutes the best-case study. The heterogeneity of environments and the complexity of shapes that characterize the Cathedral, as well as the possibility to interface with a well-established modus operandi, provide the best environment in which to test and prove the validity of the proposed methodology.

Il lavoro riguarda l'applicazione dei principi dell'Industria 4.0 al mondo del patrimonio culturale, sviluppando un'applicazione di realtà mista a supporto delle opere di manutenzione all'interno di ambienti monumentali. Termini come Industria 4.0 e Realtà Estesa stanno cambiando il modo in cui i professionisti lavorano. A causa dell'uso di nuove tecnologie e dell'acquisizione massiva di dati a diversi livelli della linea di produzione, durante il processo di fabbricazione viene generata una grande quantità di informazioni. Oggi, vi è una crescente necessità di accedere a questi dati sul campo e in tempo reale, aumentando la capacità di scambio e aggiornamento delle informazioni. Molti settori traggono beneficio da queste tecnologie, inclusi l'assemblaggio e il disassemblaggio, l'interazione uomo-robot, la medicina e i settori AECO (Architettura, Ingegneria, Costruzione e Operazioni). Il mondo del patrimonio culturale fatica a tenere il passo con le applicazioni principalmente dedicate all'istruzione e al turismo. Tuttavia, se osserviamo le diverse architetture del patrimonio monumentale, è possibile vedere che i loro cantieri sono attivi quanto quelli delle nuove costruzioni, con necessità complesse per la pianificazione delle ispezioni e degli interventi di manutenzione. La ricerca mira a esplorare la possibilità di creare un sistema di realtà mista a supporto delle attività di manutenzione in architetture monumentali complesse che potrebbe essere virtualmente scalato alle necessità di tutti gli edifici del patrimonio. Molti diversi problemi devono essere affrontati: la creazione del modello 3D che funge da spina dorsale dell'applicazione; il posizionamento del contenuto virtuale nel mondo reale; la referenziazione dei dati per la sovrapposizione 1:1; la creazione di un'interfaccia utente significativa e ad hoc; la connessione a un database esterno dove le informazioni sono archiviate. Il primo punto diventa quasi impossibile con oggetti di patrimonio culturale complessi; per questo motivo, si propone di utilizzare nuvole di punti 3D provenienti dall'attività di rilievo anziché modelli classici 3D NURBS o mesh. L'intelligenza artificiale ha abilitato processi semi-automatici per arricchire i modelli a nuvola di punti con contenuti semantici, il che era indispensabile per evitare un processo di modellazione manuale e dispendioso in termini di tempo. Pertanto, la prima parte del lavoro si concentra sull'applicazione di algoritmi di machine learning per la segmentazione di grandi set di dati a nuvola di punti prodotti durante le attività di rilievo. La seconda parte invece tratterà la definizione dei passaggi necessari per creare un'applicazione di realtà mista che potrebbe essere utilizzata sul campo per migliorare la gestione del patrimonio e la comprensione virtuale, consentendo la razionalizzazione della pianificazione degli interventi, nonché una migliore gestione dei dati e scambio di informazioni. Emblematica delle attività sistematiche di manutenzione e conservazione eseguite dalla Veneranda Fabbrica del Duomo di Milano, la Cattedrale di Milano costituisce il miglior caso studio. L'eterogeneità degli ambienti e la complessità delle forme che caratterizzano la Cattedrale, così come la possibilità di interfacciarsi con un modus operandi ben consolidato, forniscono il miglior contesto in cui testare e dimostrare la validità della metodologia proposta.