Deep learning based label-efficient semantic segmentation of building point cloud at LoD3 : learning from weak supervision

Semantic point clouds of buildings at Level-of-Detail 3 (LoD3) play a critical role in various applications such as smart cities, building modelling, civil infrastructure monitoring, and construction engineering. Deep learning (DL) techniques have emerged as promising alternatives to traditional semantic segmentation methods in recent research. However, training DL semantic segmentation networks presents a major challenge in practise due to the requirement for large amounts of finely labelled building point clouds, which are difficult to acquire, and manually annotating pointwise labels is a time-consuming and highly labour-intensive process. The applicability of DL techniques for semantic segmentation of building point clouds at LoD3 is severely limited. This thesis aims to address this issue through an innovative label-efficient DL framework that can obtain semantic labels for LoD3 building point clouds using weak supervision and a tiny amount of finely labelled data. The label-efficient DL framework consists of three branches: • the first branch proposes an unsupervised learning network to extract discriminative spatial features by faithfully reconstructing input point clouds without using any labels; • the second branch introduces a transfer learning method that allows the selection of source datasets and the extraction of semantic patterns from cross-domain datasets. This transfer learning method is extended to various applications ranging from semantic; and • the third branch presents a novel 3D Building Indoor Outdoor (BIO) dataset along with a weakly supervised learning network that combines the advantages of the previous methods and reduces the annotation cost by exploiting the abundance of incompletely labelled open-source data. By using three types of weak supervision (e.g., unlabelled, cross-domain labels, incomplete supervision), these three branches reduce the dependence on domain-specific finely labelled data, resulting in a “label-efficient LoD3 building point cloud semantic segmentation framework”. In addition, a semi-automatic pipeline is proposed, along with the novel BIO benchmark dataset that covers both indoor and outdoor environments with highly accurate labels. In summary, this thesis presents an innovative solution to the challenge of acquiring large amounts of finely labelled building point clouds for semantic segmentation and paves the way towards saving annotation costs. Through a label-efficient DL framework and the creation of a comprehensive BIO dataset, significant advances can be made in the accuracy and efficiency of various applications in the field of 3D building point cloud semantic segmentation.

Le nuvole di punti semantiche di edifici a livello di dettaglio 3 (LoD3) svolgono un ruolo cruciale in varie applicazioni come le smart city, la modellazione degli edifici, il monitoraggio delle infrastrutture civili e l'ingegneria edile. Le tecniche di apprendimento profondo (DL) sono emerse come alternative promettenti ai metodi tradizionali di segmentazione semantica nelle recenti ricerche. Tuttavia, l'addestramento di reti di segmentazione semantica DL rappresenta una sfida importante nella pratica, a causa del requisito di grandi quantità di nuvole di punti di edifici finemente etichettati, che sono difficili da acquisire, e l'annotazione manuale delle etichette dei punti è un processo che richiede tempo e molta manodopera. L'applicabilità delle tecniche DL per la segmentazione semantica delle nuvole di punti di edifici a LoD3 è fortemente limitata. Questa tesi mira a risolvere questo problema attraverso un innovativo framework di DL efficiente dal punto di vista delle etichette, in grado di ottenere etichette semantiche per nuvole di punti di edifici a LoD3 utilizzando una supervisione debole e una piccola quantità di dati finemente etichettati. Il framework DL label-efficient è composto da tre rami: - il primo ramo propone una rete di apprendimento non supervisionata per estrarre caratteristiche spaziali discriminanti ricostruendo fedelmente le nuvole di punti in ingresso senza utilizzare alcuna etichetta; - il secondo ramo introduce un metodo di apprendimento per trasferimento che consente di selezionare i set di dati di origine e di estrarre modelli semantici da set di dati trasversali. Questo metodo di apprendimento per trasferimento viene esteso a varie applicazioni che vanno dalla semantica; e - il terzo ramo presenta un nuovo set di dati 3D Building Indoor Outdoor (BIO) insieme a una rete di apprendimento a supervisione debole che combina i vantaggi dei metodi precedenti e riduce il costo di annotazione sfruttando l'abbondanza di dati open-source con etichettatura incompleta. Utilizzando tre tipi di supervisione debole (ad esempio, etichette non etichettate, etichette cross-domain, supervisione incompleta), questi tre rami riducono la dipendenza dai dati finemente etichettati specifici del dominio, dando vita a un "framework di segmentazione semantica delle nuvole di punti di edifici LoD3 efficiente dal punto di vista delle etichette". Inoltre, viene proposta una pipeline semi-automatica e un nuovo set di dati di riferimento BIO che copre ambienti interni ed esterni con etichette altamente accurate. In sintesi, questa tesi presenta una soluzione innovativa alla sfida di acquisire grandi quantità di nuvole di punti di edifici finemente etichettati per la segmentazione semantica e apre la strada al risparmio dei costi di annotazione. Grazie a un framework DL efficiente dal punto di vista delle etichette e alla creazione di un set di dati BIO completo, è possibile compiere progressi significativi nell'accuratezza e nell'efficienza di varie applicazioni nel campo della segmentazione semantica delle nuvole di punti di edifici 3D.