Depth map superresolution using a wide residual convolutional neural network

Depth maps are important parts of computer vision tasks and are used extensively in modern hardware and applications. Yet the cost of obtaining a high resolution depth sensor can be expensive and more often low resolution sensors are used to capture data. In this work a novel method of upsampling depth maps using wide residual convolutional networks is explained. Convolutional neural networks are essential parts of the state of the art computer vision systems and are used extensively in image super resolution task. The ill-posed nature of the superresolution problem makes it harder to solve since many details are either lost to decimation or blurring. Residual network is crucial development in the area along with the wide activation, the proposed method uses both of these techniques to provide to create a high resolution depth map from a low resolution counterpart. In this work two different super resolution problems have been cited: Depth Map Super Resolution with high resolution intensity image and without only using the low resolution depth map. Both methods gave astounding results with sharp edges and ability to reproduce high frequency details. The model is both reviewed qualitatively and quantitively. It has been found that RGB images introduce additional complexity along with the necessity of being perfectly matched with the depth map in terms of pose and depth of field. Yet its contribution is minimal to the network while running the risk over-transferring texture details to the depth map.

Le mappe di profondità sono una parte importante delle attività di visione artificiale utilizzate ampiamente nell'hardware e nelle applicazioni moderne. Tuttavia, il costo per ottenere un sensore di profondità ad alta risoluzione può essere costoso e più spesso vengono utilizzati sensori a bassa risoluzione per acquisire dati. In questo lavoro viene spiegato un nuovo metodo per ricampionare le mappe di profondità usando ampie reti convoluzionali residue. Le reti neurali convoluzionali sono una parte essenziale dei sistemi di visione artificiale all'avanguardia e sono ampiamente utilizzate nelle attività di super risoluzione delle immagini. La natura mal posta di questo problema rende più difficile la risoluzione poiché molti dettagli vengono persi a causa della decimazione o della sfocatura. La rete residua è uno sviluppo cruciale nell'area insieme all'ampia attivazione, il metodo proposto utilizza entrambe queste tecniche per fornire una mappa di profondità ad alta risoluzione da una controparte a bassa risoluzione. In questo lavoro sono stati citati due diversi problemi di super risoluzione: Super Depth Map con immagine ad alta intensità di intensità e senza usare solo la mappa di profondità a bassa risoluzione. Entrambi i metodi hanno dato risultati sorprendenti con spigoli vivi e capacità di riprodurre dettagli ad alta frequenza. Il modello viene rivisto sia qualitativamente che quantitativamente. È stato scoperto che le immagini RGB introducono ulteriore complessità insieme alla necessità di adattarsi perfettamente alla mappa della profondità in termini di posa e profondità di campo. Tuttavia, il suo contributo è minimo per la rete mentre si corre il rischio di trasferire in modo eccessivo i dettagli della trama nella mappa di profondità.