3D point cloud AI-driven segmentation: Milan Cathedral's decorative elements

The north façade of Milan Cathedral (Duomo di Milano) is decorated with an exceptionally rich variety of Gothic ornamental elements. Its digital documentation forms part of a long-term collaboration between the Veneranda Fabbrica del Duomo di Milano and the 3DSG Lab of Politecnico di Milano. This thesis explores the use of AI-driven semantic segmentation for decorative elements from 3D point cloud data of the north façade. A semantic categories framework of 8 decorative element classes was established based on architectural history references and the Getty AAT Thesaurus. Approximately 18.1 million points were manually annotated in CloudCompare. A PointNet++ model was then adapted, trained, and tested on the north façade, with the inference results achieved an Overall Accuracy of 0.77 and a mIoU of 0.52. Furthermore, generalization test on the south transept exposed a strong dependency on positional information, which motivated a series of iterative training experiments involving adjustments to input feature dimensionality and loss computation. These iterations clarified the extent to which the model's performance relied on positional versus geometric features and revealed both improvements in generalization and the persistence of certain limitations tied to the diversity of the training data. This study discusses the potential of deep learning in the documentation of complex Gothic architectural heritage, as well as the challenges encountered in dataset construction, model training, and result interpretation. The findings provide a reference for the application of AI semantic segmentation to architectural heritage point clouds, with implications for future work in heritage conservation and digital documentation.

La facciata nord del Duomo di Milano è decorata con una varietà eccezionalmente ricca di elementi ornamentali gotici. La sua documentazione digitale fa parte di una collaborazione a lungo termine tra la Veneranda Fabbrica del Duomo di Milano e il 3DSG Lab del Politecnico di Milano. La presente tesi esplora l’uso della segmentazione semantica basata sull’intelligenza artificiale per gli elementi decorativi ricavati dai dati della nuvola di punti 3D della facciata nord. È stato definito un framework semantico di 8 classi di elementi decorativi, basato su riferimenti di storia dell'architettura e sul Getty AAT Thesaurus. Circa 18,1 milioni di punti sono stati annotati manualmente in CloudCompare. È stato quindi adattato, addestrato e testato un modello PointNet++ sulla facciata nord, ottenendo in fase di inferenza un'Overall Accuracy di 0,77 e un mIoU di 0,52. Inoltre, il test di generalizzazione condotto sul transetto sud ha messo in luce una forte dipendenza dalle informazioni posizionali, il che ha motivato una serie di esperimenti di addestramento iterativo, con modifiche alla dimensionalità delle feature di input e al calcolo della funzione di perdita. Queste iterazioni hanno permesso di chiarire in quale misura le prestazioni del modello dipendessero da informazioni posizionali piuttosto che da caratteristiche geometriche, evidenziando sia miglioramenti nella capacità di generalizzazione sia il persistere di alcune limitazioni legate alla diversità dei dati di addestramento. Questo studio analizza il potenziale del deep learning nella documentazione del complesso patrimonio architettonico gotico, nonché le sfide incontrate nella costruzione del set di dati, nell’addestramento del modello e nell’interpretazione dei risultati. I risultati forniscono un punto di riferimento per l’applicazione della segmentazione semantica basata sull’intelligenza artificiale alle nuvole di punti del patrimonio architettonico, con implicazioni per il lavoro futuro nel campo della conservazione del patrimonio e della documentazione digitale.