SR-MVS : multi-view stereo enhancement through super-resolution

Nowadays, 3D reconstruction algorithms have reached incredible levels of accuracy and robustness, especially when the images of the environment to be reconstructed are equipped with a high resolution. There are cases in which, unfortunately, the quality of these images is not high enough, as in the case of old photographs, or cases in which the hardware used to immortalize them is a limitation. In this thesis, we discuss a new way to improve the quality of 3D reconstructions performed starting from a set of images of the scene to be modelled. More precisely, we will examine whether the increase in the resolution of these input images results in an improvement of the reconstructed model. In particular, we study whether, how and how much the depth map estimation, being the most relevant step of the most successful Multi-View Stereo pipelines, can benefit from Super-Resolution based on Deep Learning algorithms. Although these latter techniques can generate artifacts, we demonstrate how their application before restoring the depth maps leads to the realization of a better 3D model both in the case of algorithms based on PatchMatch and in those based on autonomous learning.

Al giorno d'oggi, gli algoritmi di ricostruzione 3D hanno raggiunto incredibili livelli di accuratezza e di robustezza, soprattutto quando le immagini dell'ambiente da ricostruire sono dotate di una risoluzione elevata. Esistono casi in cui, sfortunatamente, la qualità di queste immagini non è sufficientemente alta, come nel caso di vecchie fotografie, o casi in cui l'hardware utilizzato per immortalarle rappresenta una limitazione. In questa tesi, discutiamo di un nuovo modo per migliorare la qualità delle ricostruzioni 3D eseguite a partire da un set di immagini della scena da modellizzare. Più precisamente, andiamo ad esaminare se l'aumento della risoluzione di tali immagini di input si traduca in un miglioramento del modello ricostruito. In particolare, studiamo se, come e quanto la stima delle mappe di profondità, essendo il passo più rilevante delle pipeline Multi-View Stereo di maggior successo, possa beneficiare della Super-Resolution basata su algoritmi di Deep Learning. Nonostante queste ultime tecniche possano generare artefatti, dimostriamo come la loro applicazione prima di ripristinare le mappe della profondità porti alla realizzazione di un modello 3D migliore sia nel caso di algoritmi basati su PatchMatch che in quelli basati sull'apprendimento autonomo.