3D edges reconstruction from multi-view stereopsis

The ability to perceive the environment in three dimensions is key to the interaction with objects in the real world. Yet this capability, innate to animals endowed with stereoscopic vision, is not easily obtainable for computers. Traditional structure from motion techniques perceive the three-dimensional world by identifying and tracking correspondences between salient points in a sequence of observations of a scene. The appearance of such points can change significantly under variations in the illumination conditions and in the observation angle, severely hindering the ability of structure from motion to identify a sufficient amount of correspondences in the image sequence. Edges, on the other hand, present strong resistance to all these factors, and are important elements in the description of the shape of objects, especially in man made items and urban environments. On the other hand, matching edges correctly across an image sequence can be challenging; hence several state of the art three-dimensional edges reconstruction systems constrained the analysis to straight lines in scenes observed in video sequences. In this thesis we present a full 3D edges reconstruction system, optimized for sparse multi-view stereopsis. The proposed algorithm is able to reconstruct any kind of edge, straight or curved. Furthermore, we propose a full 3D surface reconstruction pipeline from images, integrating our algorithm with state of the art components, and conduct an extensive analysis of the results and benefits achieved by the system.

L'abilità di percepire l'ambiente in tre dimensioni è chiave per l'interazione con oggetti nel mondo reale. Ciò nonostante, questa capacità, innata in animali dotati di visione stereoscopica, non è facilmente ottenibile nei calcolatori. Tradizionali tecniche di structure from motion percepiscono il mondo tridimensionale identificando e tenendo traccia di corrispondenze fra punti salienti in una sequenza di osservazioni di una scena. L'apparenza di tali punti può variare significativamente in base alle condizioni di illuminazione e all'angolo di visione, compromettendo severamente l'abilità degli algoritmi di structure from motion di identificare un ammontare sufficiente di corrispondenze nella sequenza di immagini. I contorni, invece, presentano forte resistenza a tutti questi fattori, e sono importanti elementi nella descrizione della forma di oggetti, specialmente in artefatti dell'uomo e in ambienti urbani. D'altra parte, identificare correttamente corrispondenze fra contorni in una sequenza di immagini può essere un arduo compito; pertanto diversi sistemi nello stato dell'arte per la ricostruzione dei contorni in tre dimensioni limitano l'analisi a contorni rettilinei e scene osservate in sequenze video. In questa tesi proponiamo un sistema completo per la ricostruzione di contorni in tre dimensioni, ottimizzato per stereoscopia su un qualsiasi numero di viste sparse. L'algoritmo proposto è in grado di ricostruire ogni tipo di contorno, rettilineo o curvo. Infine, presentiamo un intera catena per la ricostruzione 3D di superfici da immagini, integrando il nostro algoritmo con componenti dallo stato dell'arte, di cui proponiamo un'estesa analisi dei risultati e benefici ottenuti.