This thesis presents a workflow that transform mobile mapping system (MMS) survey data into a semantically enriched and spatially referenced 3D information model for heritage buildings. The Doge’s Palace in Venice was used as a case study. While MMS technologies allow the rapid acquisition of extensive 3D point clouds and panoramic images, extracting useful information from these datasets still requires substantial manual effort. To address this issue, a deep learning-based workflow was developed to automatically detect fire safety equipment (FSE) in MMS panoramic image and map the detected objects back into the corresponding 3D point cloud. To improve the efficiency of processing large MMS datasets, a target-aware camera-station sampling strategy was introduced to reduce redundant panoramic viewpoints. YOLOv11m was selected as the baseline model and progressively fine-tuned to detect four categories of FSE, including emergency exit signage, fire alarm buttons, fire extinguishers, and smoke detectors. The detection results were converted into semantic mask using the Segment Anything Model (SAM) and projected into the surveyed 3D environment through the corresponding camera stations. The final model achieved a [email protected] of 0.838 on the panoramic validation dataset. The proposed workflow demonstrates how information captured during MMS surveys can be automatically integrated into a semantically enriched 3D representation. By linking detected objects from panoramic image to their spatial context, the resulting model provides practical support for inspection, long-term monitoring, and maintenance planning in large and complex heritage buildings.

Questa tesi presenta un workflow che trasforma i dati di rilievo acquisiti tramite Mobile Mapping System (MMS) in un modello informativo 3D semanticamente arricchito e georeferenziato per edifici storici. Il caso di studio è rappresentato da Palazzo Ducale a Venezia. Sebbene le tecnologie MMS consentano l’acquisizione rapida di dense nuvole di punti 3D e immagini panoramiche, l’estrazione di informazioni utili da questi dataset richiede ancora un significativo intervento manuale. Per affrontare questo problema, è stato sviluppato un workflow basato su deep learning per rilevare automaticamente le attrezzature antincendio (FSE) nelle immagini panoramiche MMS e mappare gli oggetti rilevati nella corrispondente nuvola di punti 3D. Per migliorare l’efficienza nell’elaborazione di grandi dataset MMS, è stata introdotta una strategia di campionamento delle stazioni camera “target-aware” per ridurre i punti di vista panoramici ridondanti. YOLOv11m è stato selezionato come modello di base e progressivamente fine-tuned per rilevare quattro categorie di FSE, tra cui segnaletica di uscita di emergenza, pulsanti di allarme antincendio, estintori e rilevatori di fumo. I risultati del rilevamento sono stati convertiti in maschere semantiche tramite il Segment Anything Model (SAM) e proiettati nell’ambiente 3D rilevato attraverso le rispettive stazioni camera. Il modello finale ha raggiunto un valore di [email protected] pari a 0.838 sul dataset di validazione panoramico. Il workflow proposto dimostra come le informazioni acquisite durante i rilievi MMS possano essere automaticamente integrate in una rappresentazione 3D semanticamente arricchita. Collegando gli oggetti rilevati nelle immagini panoramiche al loro contesto spaziale, il modello risultante fornisce un supporto pratico per ispezioni, monitoraggio a lungo termine e pianificazione della manutenzione in edifici storici complessi e di grandi dimensioni.

From mobile mapping survey to semantic heritage models: an experimental study on the Doge's Palace in Venice

Chen, Jiale
2025/2026

Abstract

This thesis presents a workflow that transform mobile mapping system (MMS) survey data into a semantically enriched and spatially referenced 3D information model for heritage buildings. The Doge’s Palace in Venice was used as a case study. While MMS technologies allow the rapid acquisition of extensive 3D point clouds and panoramic images, extracting useful information from these datasets still requires substantial manual effort. To address this issue, a deep learning-based workflow was developed to automatically detect fire safety equipment (FSE) in MMS panoramic image and map the detected objects back into the corresponding 3D point cloud. To improve the efficiency of processing large MMS datasets, a target-aware camera-station sampling strategy was introduced to reduce redundant panoramic viewpoints. YOLOv11m was selected as the baseline model and progressively fine-tuned to detect four categories of FSE, including emergency exit signage, fire alarm buttons, fire extinguishers, and smoke detectors. The detection results were converted into semantic mask using the Segment Anything Model (SAM) and projected into the surveyed 3D environment through the corresponding camera stations. The final model achieved a [email protected] of 0.838 on the panoramic validation dataset. The proposed workflow demonstrates how information captured during MMS surveys can be automatically integrated into a semantically enriched 3D representation. By linking detected objects from panoramic image to their spatial context, the resulting model provides practical support for inspection, long-term monitoring, and maintenance planning in large and complex heritage buildings.
ARC I - Scuola di Architettura Urbanistica Ingegneria delle Costruzioni
21-lug-2026
2025/2026
Questa tesi presenta un workflow che trasforma i dati di rilievo acquisiti tramite Mobile Mapping System (MMS) in un modello informativo 3D semanticamente arricchito e georeferenziato per edifici storici. Il caso di studio è rappresentato da Palazzo Ducale a Venezia. Sebbene le tecnologie MMS consentano l’acquisizione rapida di dense nuvole di punti 3D e immagini panoramiche, l’estrazione di informazioni utili da questi dataset richiede ancora un significativo intervento manuale. Per affrontare questo problema, è stato sviluppato un workflow basato su deep learning per rilevare automaticamente le attrezzature antincendio (FSE) nelle immagini panoramiche MMS e mappare gli oggetti rilevati nella corrispondente nuvola di punti 3D. Per migliorare l’efficienza nell’elaborazione di grandi dataset MMS, è stata introdotta una strategia di campionamento delle stazioni camera “target-aware” per ridurre i punti di vista panoramici ridondanti. YOLOv11m è stato selezionato come modello di base e progressivamente fine-tuned per rilevare quattro categorie di FSE, tra cui segnaletica di uscita di emergenza, pulsanti di allarme antincendio, estintori e rilevatori di fumo. I risultati del rilevamento sono stati convertiti in maschere semantiche tramite il Segment Anything Model (SAM) e proiettati nell’ambiente 3D rilevato attraverso le rispettive stazioni camera. Il modello finale ha raggiunto un valore di [email protected] pari a 0.838 sul dataset di validazione panoramico. Il workflow proposto dimostra come le informazioni acquisite durante i rilievi MMS possano essere automaticamente integrate in una rappresentazione 3D semanticamente arricchita. Collegando gli oggetti rilevati nelle immagini panoramiche al loro contesto spaziale, il modello risultante fornisce un supporto pratico per ispezioni, monitoraggio a lungo termine e pianificazione della manutenzione in edifici storici complessi e di grandi dimensioni.
File allegati
File Dimensione Formato  
2026_07_Jiale Chen_Tesi.pdf

non accessibile

Dimensione 10.55 MB
Formato Adobe PDF
10.55 MB Adobe PDF   Visualizza/Apri
2026_07_Jiale Chen_Tavole.pdf

non accessibile

Dimensione 88.09 MB
Formato Adobe PDF
88.09 MB Adobe PDF   Visualizza/Apri

I documenti in POLITesi sono protetti da copyright e tutti i diritti sono riservati, salvo diversa indicazione.

Utilizza questo identificativo per citare o creare un link a questo documento: https://hdl.handle.net/10589/261255