Texturing of 3D reconstruction without moving objects

In recent years we have seen a dramatic improvement of sensors used for 3D scanning and digital photography, so that the production of digital models from LiDAR data is widespread nowadays. The reconstruction of the geometry alone fails to give a convincing representation of a real object, because a color reconstruction is required too. This is a classical problem of computer graphics, for which most authors focus on small and controlled datasets with detailed models. In robotics field other challenges need to be taken into account. The texturing of 3D reconstructions from images is very challenging due to illumination and exposure changes, moving objects, unreconstructed occluding objects and image scales that may vary by several orders of magnitudes between close-up views and distant overview images. If the environment to reconstruct is for example a street, a central issue is to remove the moving objects such that only the static ones are considered. Once the model is generated, another central problem is how to use the pictures to give a good representation of the real object. Different problems occur when trying to project the images on the model: digital photo sampling produces highly redundant data, so we need to have a method that is able to manage these redundancy. In particular the final reconstruction should use the redundancy to improve the data coherence and the representation accuracy. Moreover some pixels have to be discarded since the information they bring is noisy or not suitable for the reconstruction (moving objects, objects that are too far from the camera). In this thesis we present a novel technique to map images on 3D models. The proposed method is fast and flexible and is able to provide a realistic representation of the object in different settings. As second contribution we improved the performances of an existing 3D moving objects detection method, which we use as a support for the color reconstruction.

Negli ultimi anni abbiamo assistito ad un importante aumento di sensori usati per le acquisizioni tridimensionali e della fotografia digitale, tanto che oggi si è diffusa la produzione di modelli digitali provenienti da dispositivi come i LiDAR. La ricostruzione geometrica di un oggetto è tuttavia insufficiente a dare una rappresentazione convincente di un oggetto reale: è necessario ricostruirne anche il colore. Questo è un problema classico della computer grafica, in questo campo la maggior parte degli autori si concentrano su dataset controllati e di piccole dimensioni, con modelli molto dettagliati. Purtroppo queste condizioni non sono possibili nel campo della robotica. La texturizzazione di modelli 3D partendo dalle immagini può avere molti problemi dovuti alla luce, ai cambiamenti di esposizione nelle immagini, alla mancata ricostruzione di oggetti occlusi, agli oggetti in movimento e alle differenti distanze da cui sono scattate le foto. Se l'ambiente da ricostruire è ad esempio una strada, un problema centrale consiste nel rimuovere gli oggetti in movimento, in modo da considerare solo quelli statici. Una volta generato il modello, un altro problema importante è come usare le immagini per dare una buona rappresentazione dell'oggetto reale. Molte difficoltà possono emergere nel proiettare un'immagine sul modello: le fotografie presentano diverse ridondanze, abbiamo dunque bisogno di un metodo che sia in grado di gestirle. In particolare la ricostruzione finale dovrebbe usare la ridondanza tra le immagini per migliorare la coerenza e l'accuratezza della rappresentazione. Inoltre alcuni pixel devono essere scartati in quanto l'informazione che portano potrebbe essere irrilevante o perfino dannosa (ad esempio oggetti in movimento o oggetti troppo lontani dalla fotocamera). In questa tesi presentiamo in una nuova tecnica per mappare le immagini su modelli tridimensionali. Il metodo proposto è veloce e flessibile ed è in grado di fornire una rappresentazione reale di un oggetto in diverse situazioni. Come secondo contributo abbiamo migliorato le performance di un sistema esistente in grado di individuare gli oggetti in movimento nelle scansioni di LiDAR. Usiamo questo metodo come supporto per la ricostruzione del colore.