Intelligent sentinel for stone heritage: AI-driven vegetation detecting in historic conservation

Artificial Intelligence (AI) has emerged as a transformative force at the intersection of cultural heritage conservation and geospatial documentation, yet a critical gap persists in translating automated damage detection into actionable conservation workflows. This thesis addresses this challenge by proposing an integrated AI-geomatic framework for automated vegetation monitoring—targeting biological colonization and peripheral plants—on stone heritage structures. Central to this methodology is the synergistic deployment of two complementary deep learning architectures: YOLOv11n-seg, a lightweight instance segmentation model optimized for real-time field deployment, and ResNet50-based U-Net, a high-precision semantic segmentation network. Validated through a six-day field campaign across six stone bridges and one watermill in Pogoniani, Greece, our approach unifies multi-source data acquisition (UAV/ground imagery, LiDAR), AI-driven segmentation of three ecological classes (Veg, Ground Grass, Moss), and 3D semantic mapping via photogrammetric point cloud classification in Agisoft Metashape. The classified point clouds enable automated HBIM integration, reducing manual annotation effort by >65% while generating orthophoto-based decay distribution maps and semantically enriched 3D models with embedded decay metadata. Beyond technical automation, this research pioneers a ​​Cultural Heritage Agent​​—an AI orchestrator leveraging GPT-4o and Retrieval-Augmented Generation (RAG). This agent synthesizes segmentation masks, orthophotos, and historical context to generate structured conservation reports featuring. By contextualizing AI outputs within ethical conservation paradigms, the agent exemplifies how large language models can evolve from analytical tools into collaborative decision-support systems.

L'Intelligenza Artificiale (IA) è emersa come una forza trasformativa all'intersezione tra la conservazione del patrimonio culturale e la documentazione geospaziale, tuttavia persiste un divario critico nella traduzione del rilevamento automatizzato dei danni in flussi di lavoro conservativi attuabili. Questa tesi affronta questa sfida proponendo un framework integrato AI-geomatico per il monitoraggio automatizzato della vegetazione—mirato alla colonizzazione biologica e alle piante periferiche—sulle strutture patrimoniali in pietra. Centrale in questa metodologia è la distribuzione sinergica di due architetture di deep learning complementari: YOLOv11n-seg, un modello di segmentazione istanza leggero ottimizzato per la distribuzione in tempo reale sul campo, e U-Net basato su ResNet50, una rete di segmentazione semantica ad alta precisione. Convalidato attraverso una campagna sul campo di sei giorni su sei ponti in pietra e un mulino ad acqua a Pogoniani, in Grecia, il nostro approccio unifica l'acquisizione di dati multi-sorgente (immagini UAV/terrestri, LiDAR), la segmentazione guidata da IA di tre classi ecologiche (Veg, Ground Grass, Moss), e la mappatura semantica 3D tramite classificazione della nuvola di punti fotogrammetrica in Agisoft Metashape. Le nuvole di punti classificate consentono l'integrazione automatizzata con HBIM, riducendo lo sforzo di annotazione manuale di >65% mentre generano mappe di distribuzione del degrado basate su ortofoto e modelli 3D semanticamente arricchiti con metadati sul degrado incorporati. Oltre l'automazione tecnica, questa ricerca pionierizza un Agente per il Patrimonio Culturale—un orchestratore IA che sfrutta GPT-4o e la Generazione Aumentata dal Recupero (RAG - Retrieval-Augmented Generation). Questo agente sintetizza maschere di segmentazione, ortofoto e contesto storico per generare report di conservazione strutturati che presentano. Contestualizzando gli output dell'IA all'interno di paradigmi conservativi etici, l'agente esemplifica come i grandi modelli linguistici possano evolvere da strumenti analitici in sistemi di supporto alle decisioni collaborativi.