AI-aided optical navigation about uncooperative spacecraft using synthetic imagery

Nowadays the space sector is experiencing an increase in the demand for missions involving proximity operations. This trend can be partially attributed to the raised awareness of the space debris problem, as more and more Active Debris Removal (ADR) and on-orbit servicing missions are being planned. Consequently, the need for an accurate onboard relative navigation system is increasingly present in the industry. This work proposes a pipeline for relative navigation based on Deep Learning techniques to obtain the relative pose measurements and Kalman Filtering to reconstruct the relative dynamics and add robustness to the pipeline. Furthermore, a testing procedure involving a Blender-based spaceborne image generator has been devised and applied to validate the results in the case of a realistic image sequence. The overall pipeline is based on a pre-existing Neural Network pipeline that participated in ESA Pose Estimation Challenge with excellent results. This network achieved a centimeter-level position accuracy and degree-level attitude accuracy, along with considerable robustness to changes in background and lighting conditions. To reconstruct the state during navigation, a set of Kalman filters have been implemented to tackle attitude and position separately. For the relative distance, an Extended Kalman Filter has been applied, as the underlying relative dynamics can be accurately modeled by means of a linearized model. Instead, for the more complicated attitude problem, the choice fell on the Unscented Kalman Filter thanks to its superior robustness in highly non-linear dynamics. In addition, robustness was taken as a priority with thousands of tests aimed at identifying and counteracting the most common failure modes. Moreover, some techniques were also developed for the detection and rejection of measurement outliers. The whole navigation pipeline was then tested on a simulated set of image sequences of the TANGO spacecraft in torque-free tumbling conditions. The frames were obtained from a Blender-based spaceborne image generation platform exploiting a 3D model of the target and relying on an accurate propagation of the relative dynamics. Finally, this work also presents the preliminary results coming from the implementation of the pipeline on a Raspberry Pi 4 single-board computer for a preliminary evaluation of its performance on more representative hardware. The results, although not directly applicable for real-time navigation, proved to be promising. Overall the pipeline managed to leverage the predictions of the Neural Network it was based on, adding robustness and precision with a minor addition of computational time.

Al giorno d’oggi il settore spaziale sta registrando un aumento nella domanda di missioni che coinvolgono operazioni di prossimità. Questa tendenza può essere in parte attribuita alla maggiore consapevolezza del problema dei detriti spaziali, poiché sempre più missioni di recupero attivo e missioni di manutenzione in orbita sono programmate. Di conseguenza, la necessità di un accurato sistema di navigazione relativa di bordo è sempre più presente nel settore. Questo lavoro propone un algoritmo per la navigazione relativa basata su tecniche di Deep Learning per ottenere le misurazioni di posa relativa e filtri di Kalman per ricostruire la dinamica relativa e aggiungere robustezza. Inoltre, è stata ideata e applicata una procedura di test che coinvolge un generatore di immagini spaziali basato su Blender per convalidare i risultati nel caso di una sequenza realistica di immagini. Nel complesso l’algoritmo si basa su una rete neurale preesistente che ha partecipato alla "Pose Estimation Challenge" dell’ESA con ottimi risultati. Questa rete ha raggiunto una precisione centimetrica sulla posizione e una precisione di assetto a livello di gradi, insieme a una notevole robustezza ai cambiamenti delle condizioni di sfondo e di illuminazione. Per ricostruire lo stato durante la navigazione, è stata implementata una serie di filtri di Kalman per affrontare separatamente i problemi di assetto relativo e posizione relativa. Per la distanza relativa è stato applicato un filtro di Kalman esteso EKF, in quanto le dinamiche relative sottostanti sono rappresentate da un modello dinamico linearizzato. Per il problema di assetto, più complesso del precedente, la scelta è caduta sull’Unscented Kalman Filter (UKF), grazie alla sua superiore robustezza nel trattare dinamiche altamente non lineari. Inoltre, l’affidabilità dell’algoritmo è stata considerata una priorità, difatti migliaia di test volti a identificare e contrastare le modalità di fallimento più comuni sono stati effettuati. In aggiunta, sono state sviluppate anche alcune tecniche per il rilevamento e lo scarto di valori anomali nelle misure. L’intero algoritmo di navigazione è stato quindi testato su un insieme simulato di sequenze di immagini del satellite TANGO in condizioni di moto incontrollato. I fotogrammi sono stati ottenuti da una piattaforma di generazione di immagini spaziali basata su Blender sfruttando un modello 3D del target e basandosi su un’accurata propagazione delle relative dinamiche. Infine, questo lavoro presenta anche i risultati preliminari provenienti dall’implementazione della pipeline su un computer "single-board" Raspberry Pi 4 per una valutazione preliminare delle sue prestazioni su hardware più rappresentativi. I risultati si sono rivelati promettenti, sebbene non direttamente applicabili per la navigazione in tempo reale. Nel complesso, l’algoritmo è riuscito a sfruttare le previsioni della rete neurale su cui si basava, aggiungendo robustezza e precisione con un leggero incremento nel carico computazionale.