Automatic segmentation, classification and extraction of repeated patterns for building façades modelling

Availability of realistic 3D building models is important in many applications. In urban planning the chance to explore 3D virtual reality world is much more efficient than the analysis of 2D maps. For public security, accurate 3D building models are indispensable to plan intervention strategies during emergencies. Virtual tourism may largely benefit from highly realistic city models. The rapid development of terrestrial laser scanning devices allowed the acquisition of point clouds of urban environments in a relatively reduced time. With the considerable high point density and the explicit 3D coordinates of such point clouds, it is possible to recover both large structures and fine details of buildings. In addition, the increase of automation in acquisition stage and registration of laser scans, in conjunction with a reduction of the cost of instruments, extended to a larger number of operators the chance to use terrestrial laser scanners (TLS). This caused a great attention in generating as-built building models starting from laser scanning data. In many cases such models are generated by manual modelling of each building element. However, this is undoubtedly a rather time consuming and expensive procedure that limit a widespread dissemination of building models. Automation in the reconstruction process is essential to speed up the processing. Indeed, only if a high degree of automation is maintained throughout the whole pipeline, from data acquisition to modelling, the economic sustainability of the model generation can be guaranteed. Automated approaches can bring advantages in term of speed, and thus the time needed to deliver the final model can be shortened in comparison with manual techniques. However, lack of automated approaches to understand the building structures captured in raw data is still underlined by different operators in the Architecture, Engineering, and Construction (AEC) domain. This thesis introduces a new procedure aimed at the automated production of building façades models. This method is principally designed to generate as-built models of urban construction for thermal retrofitting. Indeed, energy efficient retrofitting of existing buildings, mainly the ones built in the period 1950 – 1975, is a key aspect for reaching the proposed energy consumption reduction targets fixed by national and international authorities. In this field, highly detailed as-built models of buildings are needed on one side for the thermal assessment, and on the other for producing executive drawings. The developed approach can be considered as a multi-step process in which the building model is iteratively estimated and refined starting from the raw point cloud. The presented methodology (Figure 1) first accomplishes the segmentation of the point cloud of a building façade into its planar elements. Then, starting from the identified planar clusters, façade break-lines are automatically extracted to be used later to generate a 3D vector model. During this step some priors on urban scenes like the prevalence of straight lines and orthogonal intersections are exploited to set additional constraints. Despite considerable effort, data obtained with range scanners usually may suffers from occlusions. However, building facades exhibit a high degree of self-similarity and redundancy. For this reason an algorithm was developed for the reconstruction of incomplete models with the help of high-level architectural objects and identification of repeated patterns in urban facades. The final product is a semantically enriched 3D model of the building façade that can be integrated to Building Information Model (BIM). To demonstrate the reliability, precision and robustness of the method, several tests on different kinds of datasets are illustrated and discussed. The presented tests revealed that while reconstruction efficiency is improved by the developed approach, the geometric accuracy of derived models is also comparable to the one achievable by standard modelling process. The obtained building models have several applications. In the last part of this dissertation integration of building models with thermal images is addressed in detail. In recent years this task has become quite popular, but actual approaches may not be able to provide accurate and rigorous results. A solution is proposed based on mapping of thermal data on the vector building model. The alignment of both data is obtained with a combined bundle adjustment of thermal and RGB images. Finally, some of the algorithms developed for façade modelling are extended, and partially modified, to cope with new applications. In particular, the developed segmentation strategy is tested for scan registration of urban scenes which present the prevalence of some few basic geometric shapes. In these cases the identification of the same planar features between scans is exploited to determine their registration parameters. A final extension of the developed algorithms concerns modelling of indoor environments. Indeed, automatic reconstruction of buildings exteriors share many problems with the issues associated with indoor reconstruction. However, indoor environments present generally a higher degree of clutter and occlusion than outdoors scenes. For this reason a tailored solution was developed.

La disponibilità di modelli realistici 3D di facciate di edifici è importante per molte applicazioni. In pianificazione urbana la possibilità di esplorare modelli virtuali 3D consente una valutazione molto più efficace dell’analisi di mappe 2D. Nell’ambito di pubblica sicurezza, la modellazione accurata di un edificio in 3D è indispensabile per la pianificazione delle operazioni di intervento in caso di emergenza. Il turismo virtuale beneficia largamente di modelli 3D realistici. Il rapido sviluppo delle tecniche basate sul laser a scansione terrestre consente di acquisire nuvole di punti in ambito urbano in un arco di tempo relativamente ridotto. Con la loro alta densità, le nuvole di punti consentono di rilevare sia strutture di grandi dimensioni sia elementi di dettaglio. L’aumento dell’automazione sia nella fase di acquisizione sia di registrazione delle scansioni, assieme alla riduzione del costo della strumentazione, osservati negli untimi anni hanno consentito ad un maggior numero di operatori di utilizzare il laser a scansione terrestre (TLS). Tutto ciò ha portato ad un grande interesse alla generazione di modelli “as-built” di edifici a partire da nuvole di punti. Nella maggior parte dei casi tali modelli sono generati mediante una procedura di modellazione manuale. Tuttavia, tale procedura risulta essere particolarmente laboriosa e dispendiosa limitando in tal modo un utilizzo su larga scala di modelli virtuali di edifici. L’automazione è necessari all’interno del processo di modellazione. Infatti, solo mantenendo un alto livello di automazione all’interno dell’intero processo, partendo dalla fase di acquisizione fino alla modellazione, è possibile garantirne un’adeguata sostenibilità economica. Tuttavia la mancanza di automazione nella fase di modellazione di edifici rappresentati mediante nuvole di punti è al momento sottolineata da molti operatori del settore (architetti, ingegneri, costruttori). Questo lavoro di tesi presenta una nuova procedura finalizzata alla produzione automatica di modelli di facciate di edifici. Tale procedura, è principalmente pensata per generare modelli “as-buit” di edifici residenziali al fine di consentirne l’adeguamento energetico. Infatti, l’adeguamento energetico degli edifici esistenti, in particolar modo quelli realizzati nel periodo 1950- 1975, è un elemento chiave per raggiungere gli obiettivi di efficienza energetica fissati in ambito nazionale ed internazionale. La procedura sviluppata può essere considerata come un processo iterativo, in cui per fasi successive si procede alla stima e al raffinamento del modello a partire dalla nuvola di punti originaria. La metodologia sviluppata consiste innanzitutto in una segmentazione della nuvola di punti della facciata in elementi piani. Quindi, partendo da tale segmentazione le linee di discontinuità della facciata sono automaticamente estratte ed utilizzate per generare un modello vettoriale 3D. In questa fase alcune informazioni a priori circa l’architettura urbana sono utilizzate per vincolare la ricostruzione. Dati acquisiti mediante tecnica a scansione frequentemente presentano occlusioni. Per questa ragione è stato sviluppato un algoritmo per la ricostruzione di zone occluse o mancanti mediante l’utilizzo di elementi architettonici e l’identificazione di motivi ripetitivi all’interno della facciata. Il prodotto finale è un modello 3D semanticamente arricchito che può essere integrato in ambiente BIM (Building Information Model). Una serie di test, su diversi set di dati sono stati effettuati per valutare l’affidabilità, la precisione e la robustezza del metodo sviluppato. I risultati ottenuti hanno rivelato che pur riducendo significativamente i tempi necessari alla modellazione, l’accuratezza geometrica dei modelli ricavati in via automatica è simile a quella dei modelli ottenuti manualmente. Tali modelli possono essere integrati con altre tipologie di dati. In particolar modo nell’ultima parte della tesi è presentata l’integrazione con immagini termiche. Negli ultimi anni tale tema è diventato particolarmente importante. Tuttavia allo stato attuale gli approcci sviluppati possono non essere in grado di fornire risultati rigorosi. Per tale ragione è stata sviluppata una soluzione basata sulla mappatura di immagini termiche sul modello vettoriale dell’edificio. La registrazione dei due dati è ottenuta mediante una triangolazione a stelle proiettive che combina allo stesso tempo immagini termiche ed RGB. Infine, alcuni degli algoritmi sviluppati per la modellazione delle facciate di edifici sono stati estesi e parzialmente modificati per la loro applicazione ad altri campi. In particolare, la metodologia di segmentazione sviluppata è stata testa per la registrazione di scansioni acquisite in ambiente urbano. Infatti, l’identificazione degli stessi elementi piani tra scansioni può essere utilizzata per la registrazione delle scansioni stesse. Un’ulteriore estensione riguarda la modellazione di interni. Infatti, la ricostruzione automatica di ambienti interni, presenta problematiche simili a quelle riscontrate con la modellazione di facciate. Tuttavia, ambienti interni presentano in generale una porzione di rumore maggiore di quella riscontrabile nella scansione di facciate. Per questa ragione è stata sviluppata una soluzione ad-hoc.