Comparative Study of Stereovision approaches for Long-range Depth Estimation of Noncooperative Resident Space Objects

The increasing pace of space activities has led to a substantial surge in space debris, including malfunctioning and retired spacecrafts. This accumulation has reached unprecedented levels, posing significant collision risks in space. Consequently, there is a growing need for effective techniques to mitigate, repair, and refuel spacecraft during in-orbit services. In recent years, there has been a growing interest in autonomous close proximity operations involving both cooperative and non-cooperative artificial objects. However, acquiring relative motion between an uncooperative target spacecraft and a chaser satellite presents unique challenges, particularly in active debris removal missions. This is particularly difficult due to the absence of cooperative information and the complex rotational dynamics as free tumbling typically observed in uncontrolled space objects. The presence of such dynamics increases the collision risk when the chaser approaches the target for monitoring. To ensure safe operations and allow adequate time for pose estimations, it becomes essential to explore the viability of obtaining precise estimates of the target's position and relative motion at larger distances, such as exceeding 50 meters. However, currently available datasets for spacecraft pose estimation primarily focus on short-range scenarios, where the camera is positioned less than 40 meters away from the target, typically around 10 meters. This study introduces a stereo camera system deployed on the chaser satellite to estimate the depth of the target. A synthetic dataset named as JINSV2D, is created using the open-source software Blender by rendering images of various satellite models placed up to 100 meters away from the target, incorporating different illumination and pose conditions. Ground truth depth maps and camera poses corresponding to the rendered images are also generated based on a pre-existing convolutional neural network model called Unimatch, which has demonstrated excellent performance in deep estimation. The objective of this comparative study is to empirically evaluate traditional stereo matching algorithms against a state-of-the-art deep learning-based algorithm using the synthetic dataset. Three algorithms, namely Block Matching, Semi-Global Matching, and Unimatch depth estimation algorithm, are thoroughly assessed. While well-trained neural networks outperform traditional algorithms in performance, the latter do not suffer from large drops in accuracy when applied in different application domains. A sensitivity analysis of multiple camera focal lengths at observing distance of 75m and 100m is provided. These depth measurements can subsequently be utilized to extract 3D measurements to be used in navigation filters. The results indicate that the Block Matching approach performs best when synthetic images with an Earth background are considered. This work is conducted with the future goal of improving the entire depth prediction process and implementing techniques to overcome challenges in long-range relative navigation during rendezvous and proximity operations involving non-cooperative space objects.

L'aumento costante delle attività spaziali ha portato a un notevole aumento dei detriti spaziali, compresi veicoli spaziali guasti e ritirati. Questa accumulazione ha raggiunto livelli senza precedenti, comportando significativi rischi di collisione nello spazio. Di conseguenza, si avverte la crescente necessità di tecniche efficaci per mitigare, riparare e rifornire i veicoli spaziali durante i servizi in orbita. Negli ultimi anni, c'è stato un crescente interesse nelle operazioni autonome a stretta vicinanza che coinvolgono sia oggetti artificiali cooperativi che non cooperativi. Tuttavia, acquisire il movimento relativo tra un veicolo spaziale bersaglio non cooperativo e un satellite in inseguimento presenta sfide uniche, specialmente nelle missioni di rimozione dei detriti attivi. Questo è particolarmente difficile a causa dell'assenza di informazioni cooperative e della complessa dinamica rotazionale tipicamente osservata negli oggetti spaziali incontrollati in libera caduta. La presenza di tali dinamiche aumenta il rischio di collisione quando il satellite in inseguimento si avvicina al bersaglio per il monitoraggio. Per garantire operazioni sicure e consentire un tempo adeguato per le stime di posizione, diventa essenziale esplorare la fattibilità di ottenere stime precise della posizione del bersaglio e del moto relativo a distanze maggiori, superando i 50 metri. Tuttavia, attualmente i set di dati disponibili per l'estimazione della posa dei veicoli spaziali si concentrano principalmente su scenari a breve raggio, dove la telecamera è posizionata a meno di 40 metri dal bersaglio, tipicamente attorno a 10 metri. Questo studio introduce un sistema di telecamere stereo installato sul satellite in inseguimento per stimare la profondità del bersaglio. Un set di dati sintetico chiamato JINSV2D è creato utilizzando il software open-source Blender, rendendo immagini di vari modelli di satelliti posizionati fino a 100 metri dal bersaglio, incorporando diverse condizioni di illuminazione e posa. Mappe di profondità e posizioni della telecamera corrispondenti alle immagini renderizzate sono generate sulla base di un modello di rete neurale convoluzionale preesistente chiamato Unimatch, che ha dimostrato un'eccellente performance nella stima profonda. L'obiettivo di questo studio comparativo è valutare empiricamente gli algoritmi tradizionali di corrispondenza stereo rispetto a un algoritmo basato sul deep learning all'avanguardia utilizzando il set di dati sintetico. Tre algoritmi, cioè Block Matching, Semi-Global Matching e l'algoritmo di stima della profondità Unimatch, sono attentamente valutati. Mentre le reti neurali ben addestrate superano gli algoritmi tradizionali in termini di prestazioni, questi ultimi non subiscono grandi cali di precisione quando vengono applicati in diversi domini di applicazione. Viene fornita un'analisi di sensibilità di diverse lunghezze focali della telecamera a una distanza di osservazione di 75m e 100m. Queste misurazioni di profondità possono successivamente essere utilizzate per estrarre misurazioni tridimensionali da utilizzare nei filtri di navigazione. I risultati indicano che l'approccio Block Matching si comporta meglio quando si considerano immagini sintetiche con uno sfondo terrestre. Questo lavoro è condotto con l'obiettivo futuro di migliorare l'intero processo di previsione della profondità e implementare tecniche per superare le sfide nella navigazione relativa a lungo raggio durante le operazioni di rendezvous e vicinanza che coinvolgono oggetti spaziali non cooperativi.