Camera Pose Estimation for planar configurations

Structure from Motion (SfM) is the process of estimating a 3D structure and the Camera Pose from a set of 2D images. Assuming the images are taken by calibrated cameras that frame the same scene, allowing an overlay with common points. Mainstream 3D reconstruction pipelines produce accurate 3D model under the assumptions that points and cameras are in general configurations. However, in practice there are special configurations of points and cameras that prevent a correct reconstruction. In particular, if the scene is planar, the standard techniques based on epipolar geometry do not work. In this thesis, the problem of 3D reconstruction in the presence of degenerate planar configurations is addressed, focusing in particular on Camera Pose, in case of a single stereo pair of cameras. The Camera Pose Estimation is the task of determining the orientation and the position of the second camera relative to the first in the scene coordinate system. We have implemented a robust pipeline of Camera Pose Estimation and 3D reconstruction that is able to manage correctly both the non-planar and the degenerate planar cases using a model-selection. The relative orientation of the Camera Pose is retrieved if are provided 2D-2D correspondences or the absolute orientation if there are ground points available. The experiments conducted show that the new method is more accurate and reliable than the standard pipeline and is able to effectively recover the correct solution in a degenerate case. In addition, we have considered the problem of Camera Resection from a single image to obtain the internal and external parameters. The algorithm uses a set of fiducial markers to retrieve the 3D-2D point correspondences. This solution provides 2D points easily identifiable in an image with good accuracy by automated algorithms and calibration objects with a structure adaptable to the specific problem.

Structure from Motion (SfM) è il processo di stima di una struttura 3D e della posa della camera da un insieme di immagini 2D. Supponendo che le immagini siano prese da camere calibrate che inquadrano la stessa scena, permettendo una sovrapposizione con punti comuni. Le pipeline di ricostruzione 3D tradizionali producono un modello 3D accurato sotto l'ipotesi che i punti e le camere siano in configurazioni generali. Tuttavia, in pratica ci sono configurazioni speciali di punti e camere che impediscono una ricostruzione corretta. In particolare, se la scena è planare, le tecniche standard basate sulla geometria epipolare non funzionano. In questa tesi si affronta il problema della ricostruzione 3D in presenza di configurazioni planari degeneri, concentrandosi in particolare sulla Camera Pose, nel caso di una singola coppia stereo di camere. La Camera Pose Estimation ha il compito di determinare l'orientamento e la posizione della seconda camera rispetto alla prima nel sistema di coordinate della scena. Abbiamo implementato una robusta pipeline di Camera Pose Estimation e ricostruzione 3D che è in grado di gestire correttamente sia i casi non planari che quelli planari degeneri utilizzando una selezione del modello. L'orientamento relativo della Camera Pose viene recuperato se sono fornite corrispondenze 2D-2D oppure l'orientamento assoluto se ci sono punti empirici 3D disponibili. Gli esperimenti condotti mostrano che il nuovo metodo è più accurato e affidabile della pipeline standard ed è in grado di recuperare efficacemente la soluzione corretta in un caso degenere. Inoltre, abbiamo considerato il problema della Camera Resection da una singola immagine per ottenere i parametri interni ed esterni. L'algoritmo utilizza un insieme di marcatori fiduciali per recuperare le corrispondenze di punti 3D-2D. Questa soluzione fornisce punti 2D facilmente identificabili in un'immagine con buona precisione da algoritmi automatici e oggetti di calibrazione con una struttura adattabile al problema specifico.