The documentation of architectural cultural heritage is essential for the conservation, maintenance, and long-term management of historic buildings. Beyond capturing geometric information, digital documentation increasingly emphasises the identification and interpretation of significant architectural features. This approach enhances our semantic understanding and supports conservation analysis. Stone-by-stone segmentation has emerged as a critical task in this context. The challenge extends beyond the technical problem of identifying object boundaries at the pixel level. It also requires defining what constitutes a meaningful architectural component within a cultural heritage environment. Recent advances in artificial intelligence have created new opportunities to automate and enrich heritage documentation workflows. Using the North façade of Milan Cathedral as a case study, this research investigates two deep learning segmentation approaches for stone-by-stone segmentation: a supervised instance segmentation model (YOLO26-seg) and a prompt-based foundation model (FastSAM). A manually annotated dataset comprising 293 high-resolution façade images was constructed to provide ground-truth data for model training and evaluation. The two approaches were compared through qualitative observations and quantitative metrics. The results demonstrate that YOLO26-seg significantly outperforms FastSAM in both segmentation accuracy and semantic consistency. Although FastSAM has strong generalisation capabilities, its segmentation behaviour is often affected by visual salience. This can lead to semantic confusion and under-segmentation in complex environments, such as the Gothic architecture of Milan Cathedral. In contrast, the supervised model learns task-specific semantic representations from the annotated dataset, producing segmentation outputs that more closely align with architectural interpretations of individual stone units. The study suggests that facilitating the heritage segmentation process depends not only on model performance but also on how architectural objects are defined, interpreted, and embedded within AI-assisted segmentation workflows. Beyond comparing two segmentation strategies, the study contributes to ongoing discussions on integrating domain-specific architectural knowledge into artificial intelligence-assisted workflows for digital heritage documentation and semantic reconstruction.
La documentazione del patrimonio culturale architettonico è essenziale per la conservazione, la manutenzione e la gestione a lungo termine degli edifici storici. Oltre alla raccolta di informazioni geometriche, la documentazione digitale pone sempre più l’accento sull’identificazione e l’interpretazione delle caratteristiche architettoniche significative. Questo approccio migliora la nostra comprensione semantica e supporta l’analisi conservativa. La segmentazione pietra per pietra si è affermata come un’attività fondamentale in questo contesto. La sfida va oltre il problema tecnico dell’identificazione dei confini degli oggetti a livello di pixel. Richiede inoltre di definire cosa costituisca un componente architettonico significativo all’interno di un contesto di patrimonio culturale. I recenti progressi nell’intelligenza artificiale hanno creato nuove opportunità per automatizzare e arricchire i flussi di lavoro relativi alla documentazione del patrimonio. Utilizzando la facciata nord del Duomo di Milano come caso di studio, questa ricerca esamina due approcci di segmentazione basati sul deep learning per la segmentazione pietra per pietra: un modello di segmentazione di istanze supervisionato (YOLO26-seg) e un modello di base basato su prompt (FastSAM). È stato creato un set di dati annotato manualmente, composto da 293 immagini ad alta risoluzione della facciata, per fornire dati di riferimento per l’addestramento e la valutazione dei modelli. I due approcci sono stati confrontati attraverso osservazioni qualitative e metriche quantitative. I risultati dimostrano che YOLO26-seg supera significativamente FastSAM sia in termini di accuratezza della segmentazione che di coerenza semantica. Sebbene FastSAM possieda forti capacità di generalizzazione, il suo comportamento di segmentazione è spesso influenzato dalla salienza visiva. Ciò può portare a confusione semantica e a una segmentazione insufficiente in ambienti complessi, come l’architettura gotica del Duomo di Milano. Al contrario, il modello supervisionato apprende rappresentazioni semantiche specifiche per il compito dal set di dati annotato, producendo risultati di segmentazione che si allineano più strettamente alle interpretazioni architettoniche dei singoli elementi in pietra. Lo studio suggerisce che facilitare il processo di segmentazione del patrimonio culturale non dipende solo dalle prestazioni del modello, ma anche dal modo in cui gli oggetti architettonici vengono definiti, interpretati e integrati nei flussi di lavoro di segmentazione assistiti dall’IA. Oltre a mettere a confronto due strategie di segmentazione, lo studio contribuisce alle discussioni in corso sull’integrazione delle conoscenze architettoniche specifiche di settore nei flussi di lavoro assistiti dall’intelligenza artificiale per la documentazione digitale del patrimonio e la ricostruzione semantica.
From pixels to architectural components: a comparative study of ai-assisted approaches for stone-by-stone segmentation of Milan Cathedral
Ouyang, Liyue
2025/2026
Abstract
The documentation of architectural cultural heritage is essential for the conservation, maintenance, and long-term management of historic buildings. Beyond capturing geometric information, digital documentation increasingly emphasises the identification and interpretation of significant architectural features. This approach enhances our semantic understanding and supports conservation analysis. Stone-by-stone segmentation has emerged as a critical task in this context. The challenge extends beyond the technical problem of identifying object boundaries at the pixel level. It also requires defining what constitutes a meaningful architectural component within a cultural heritage environment. Recent advances in artificial intelligence have created new opportunities to automate and enrich heritage documentation workflows. Using the North façade of Milan Cathedral as a case study, this research investigates two deep learning segmentation approaches for stone-by-stone segmentation: a supervised instance segmentation model (YOLO26-seg) and a prompt-based foundation model (FastSAM). A manually annotated dataset comprising 293 high-resolution façade images was constructed to provide ground-truth data for model training and evaluation. The two approaches were compared through qualitative observations and quantitative metrics. The results demonstrate that YOLO26-seg significantly outperforms FastSAM in both segmentation accuracy and semantic consistency. Although FastSAM has strong generalisation capabilities, its segmentation behaviour is often affected by visual salience. This can lead to semantic confusion and under-segmentation in complex environments, such as the Gothic architecture of Milan Cathedral. In contrast, the supervised model learns task-specific semantic representations from the annotated dataset, producing segmentation outputs that more closely align with architectural interpretations of individual stone units. The study suggests that facilitating the heritage segmentation process depends not only on model performance but also on how architectural objects are defined, interpreted, and embedded within AI-assisted segmentation workflows. Beyond comparing two segmentation strategies, the study contributes to ongoing discussions on integrating domain-specific architectural knowledge into artificial intelligence-assisted workflows for digital heritage documentation and semantic reconstruction.| File | Dimensione | Formato | |
|---|---|---|---|
|
2026_07_Ouyang_Board_01.pdf
accessibile in internet per tutti
Dimensione
10.89 MB
Formato
Adobe PDF
|
10.89 MB | Adobe PDF | Visualizza/Apri |
|
2026_07_Ouyang_Board_02.pdf
accessibile in internet per tutti
Dimensione
4.71 MB
Formato
Adobe PDF
|
4.71 MB | Adobe PDF | Visualizza/Apri |
|
2026_07_Ouyang_Board_03.pdf
accessibile in internet per tutti
Dimensione
3.36 MB
Formato
Adobe PDF
|
3.36 MB | Adobe PDF | Visualizza/Apri |
|
2026_07_Ouyang_Board_04.pdf
accessibile in internet per tutti
Dimensione
18.23 MB
Formato
Adobe PDF
|
18.23 MB | Adobe PDF | Visualizza/Apri |
|
2026_07_Ouyang_Board_05.pdf
accessibile in internet per tutti
Dimensione
19.03 MB
Formato
Adobe PDF
|
19.03 MB | Adobe PDF | Visualizza/Apri |
|
2026_07_Ouyang_Board_06.pdf
accessibile in internet per tutti
Dimensione
18.76 MB
Formato
Adobe PDF
|
18.76 MB | Adobe PDF | Visualizza/Apri |
|
2026_07_Ouyang_Board_07.pdf
accessibile in internet per tutti
Dimensione
1.78 MB
Formato
Adobe PDF
|
1.78 MB | Adobe PDF | Visualizza/Apri |
|
2026_07_Ouyang_Board_08.pdf
accessibile in internet per tutti
Dimensione
661.92 kB
Formato
Adobe PDF
|
661.92 kB | Adobe PDF | Visualizza/Apri |
|
2026_07_Ouyang_Board_09.pdf
accessibile in internet per tutti
Dimensione
5.22 MB
Formato
Adobe PDF
|
5.22 MB | Adobe PDF | Visualizza/Apri |
|
2026_07_Ouyang_Board_10.pdf
accessibile in internet per tutti
Dimensione
4.22 MB
Formato
Adobe PDF
|
4.22 MB | Adobe PDF | Visualizza/Apri |
|
2026_07_Ouyang_Board_11.pdf
accessibile in internet per tutti
Dimensione
10.17 MB
Formato
Adobe PDF
|
10.17 MB | Adobe PDF | Visualizza/Apri |
|
2026_07_Ouyang_Board_12.pdf
accessibile in internet per tutti
Dimensione
14.46 MB
Formato
Adobe PDF
|
14.46 MB | Adobe PDF | Visualizza/Apri |
|
2026_07_Ouyang_Thesis_ 01_0207.docx
accessibile in internet per tutti
Descrizione: Thesis
Dimensione
18.37 MB
Formato
Microsoft Word XML
|
18.37 MB | Microsoft Word XML | Visualizza/Apri |
|
2026_07_Ouyang_Thesis_01.pdf
accessibile in internet per tutti
Descrizione: Thesis
Dimensione
5.73 MB
Formato
Adobe PDF
|
5.73 MB | Adobe PDF | Visualizza/Apri |
I documenti in POLITesi sono protetti da copyright e tutti i diritti sono riservati, salvo diversa indicazione.
https://hdl.handle.net/10589/261411