The contribution of the super resolution to the 3D reconstruction from satellite image pairs

CO3D is an Earth observation mission by the Centre national d’étude spatiales (CNES) aiming at providing a worldwide accurate Digital Surface Model (DSM). For this purpose, 3D photogrammetric reconstruction from pairs of satellite images will be employed. CO3D, french acronym for Constellation Optique 3D, will be composed by at least four optical satellites that will provide simultaneous acquistions of the same scene. In this way, temporal differences will be minimized, allowing a more accurate stereo matching as well as automatic production of DSMs at a global scale. Such a 3D detailed information in DSM format is strategic for growing applications in space field downstream, from 3D city mapping to damage assessment. The DSM generation is key and the CARS-Pandora pipeline is being developed by the CNES in collaboration with CS Group. However, DSMs produced with current space technology suffer from poor quality in urban areas, even using very high resolution acquisitions. Indeed, it is not straightforward to render with high accuracy smaller scale objects, such as buildings, by means satellite images that have a limited ground sampling distance capability. To address this issue, one solution may be to increase resolution beyond the sensor limits. One could simply use an interpolation technique (bicubic upsampling is the most used one) but this does not introduce any spectral structure that might be used for a better stereo matching. On the other hand, super resolution (SR) algorithms are designed to recover high frequencies, introducing significant information in a scene characterized by strong discontinuities such as a city. State-of-the-art methods relying on Deep Neural Networks (DNN) have shown remarkable results in this sense. Hence, the aim of this work is to assess the contribution of SR Deep Learning techniques to the stereo matching and DSMs generation in space industry.

CO3D è una missione di osservazione della Terra del Centre national d'étude spatiales (CNES) che ambisce a fornire un modello numerico di superficie (DSM, acronimo dall'inglese Digital Surface Model) su scala mondiale. Al fine di ottenere tali prodotti verrà utilizzata una catena di ricostruzione fotogrammetrica 3D da coppie stereografiche di immagini satellitari. CO3D sarà composta da almeno quattro satelliti, operanti nello spettro ottico, che forniranno acquisizioni simultanee della stessa porzione di superficie terrestre. In questo modo, le differenze temporali saranno minimizzate, consentendo una corrispondenza stereo più accurata e una produzione automatica di DSM su scala globale. Questo tipo di informazione dettagliata 3D in formato DSM è strategica per applicazioni crescenti nel downstream del settore spaziale, dalla mappatura 3D delle città alla valutazione di danni urbanistici. La pipeline di generazione di DSM è fondamentale e CARS-Pandora è stata sviluppata dal CNES in collaborazione con CS Group. Tuttavia, i DSM prodotti con la tecnologia attuale soffrono di scarsa qualità in area urbana, nonostante l'impiego di immagini VHR (acronimo dall'inglese Very High Resolution). Infatti, ripordurre con grande accuratezza oggetti di scala inferiore,come gli edifici di una città, comporta serie difficoltà quando si impiegano coppie di immagini satellitari con ovvi vincoli in risoluzione al suolo. Una soluzione potrebbe essere quella di aumentare la risoluzione oltre i limiti del sensore usato, ma una semplice interpolazione non introduce nessuna struttura spettrale che potrebbe essere usata per una migliore corrispondenza stereo. D'altra parte, gli algoritmi di super risoluzione sono ideati per stimare le alte frequenze perse durante il campionamento, introducendo informazioni significative in una scena caratterizzata da forti discontinuità come l'immagine di una città. I metodi allo stato dell'arte, che si basano su reti neurali profonde, hanno recentemente prodotto risultati notevoli in questo senso. Pertanto, lo scopo di questo lavoro è di valutare quale sia il contributo di tali tecniche di Deep Learning sulla corrispondenza stereo nell'ambito della generazione di modelli numerici di superficie.