Edge aware 3D reconstruction pipeline

3D reconstruction is one of the classic and challenging problems in computer vision, and finds its applications in a variety of different fields. Structure from Motion methods address the simultaneous es- timation of camera positions and orientations together with a point- based representation of the environment. In this thesis we present a novel Structure from Motion (SfM) al- gorithm, which extends the generic pipeline with two more stages, reconstruction of 3D edge points and edge aware bundle adjustment. The idea of these two stages is to explore the directionality embedded in edge feature and constrain 3D edge points to move according to their edge direction during bundle adjustment (BA). The first stage takes advantage from EdgeGraph3D software. For the second stage, we propose two approaches to calculate the slope value of image points, named nearest neighbor approach and Sobel operator approach; we also propose a way to derive an information matrix with direction constraint; another contribution is that we pro- pose a 2-round BA procedure using g2o (a graph based optimization library), which has similar performance compared with the state-of- the-art. We evaluate the effectiveness of our pipeline on mutiple publicly available datasets. Experimental results demonstrate that this extended pipeline can improve the reconstruction accuracy in scenario where there is a dominant presence of straight edges.

La ricostruzione 3D è uno dei più intriganti campi di ricerca in cui opera la computer vision, soprattutto se si considera il crescente inter- esse nei molteplici settori d’applicazione. I algoritmi Structure from Motion si occupano della stima simultanea delle posizioni e degli ori- entamenti della telecamera insieme a una rappresentazione a punti dell’ambiente. In questa tesi presentiamo una nuova pipeline per gli algoritmi Structure from Motion (SfM), che estende la pipeline generica con al- tri due stadi, la ricostruzione di edge-point 3D e l’ottimizzazione di questi, tramite un bundle adjustement (BA) che tenga conto della loro ambigua lungo l’edge stesso. L’idea di questi due stadi è quella di esplorare direzionalità tipica dell’edge a cui appartiene l’edge point. Dall’altro lato, permettiamo all’ottimizzatore di penalizzare sposta- menti degli edge points al di fuori dell’edge stesso. La prima fase si avvale del software EdgeGraph3D. Per la seconda fase, proponiamo due approcci per calcolare il valore di pendenza dei punti immagine, denominati approccio nearest neighbor e approccio operatore Sobel; inoltre proponiamo un modo per ricavare una ma- trice di informazioni con vincoli di direzione; infine, proponiamo una procedura di bundle adjustment a 2 round usando g2o (una libreria di ottimizzazione basata su grafici) che ha prestazioni simili rispetto allo stato dell’arte. Valutiamo l’efficacia della nostra pipeline su diverse sequenze tratte da due dataset pubblici. I risultati sperimentali dimostrano che questa pipeline estesa può migliorare l’accuratezza della ricostruzione in uno scenario in cui vi è una presenza dominante di bordi dritti.