Deep multi-task learning based monocular relative pose estimation of uncooperative spacecraft

This dissertation introduces a Convolutional Neural Network (CNN) based pipeline for estimating the pose of an uncooperative spacecraft using a single grayscale monocular image. Close-proximity autonomous navigation about an uncooperative spacecraft is a crucial problem in the modern space industry for in-orbit servicing missions as well as Active Debris Removal (ADR) operations. Using a low Size-Weight-Power-Cost (SWaP-C) sensor like a monocular camera is preferred over heavier and more energy consuming sensors, but introduces the need of a very robust software to perform pose estimation. The main contribution of this work is AIKO-NET, a multi-task, deep learning based CNN that leverages state-of-the-art architectures to enable the parallelization of diverse yet related tasks that synergically contribute to the main task: the proposed software is capable of localizing the target and extracting features such as keypoints Heatmap, Depthmap, Normalmap and Shadowmap from a single grayscale image. Ultimately, the relative pose estimation is performed by the means of two different methods: the direct approach consists in retrieving the 6D pose directly as the EfficientPose head output; the indirect one relies on the predicted heatmaps and exploits the Efficient Perspective-n- Point (EPnP) algorithm to deliver an estimate of the pose. Despite the Next-Generation Spacecraft PosE Estimation Dataset (SPEED+) is the benchmark dataset in this field, the data-centric nature of this project made it necessary to generate a new one from scratch: the Multi-Feature Spacecraft Pose Estimation Dataset (MFSPED) introduces three novel feature maps and fuels the aim of this research of testing a modular, extensively multi-task approach. Finally, AIKO-NET is embedded in a complete pipeline consisting of relative trajectory simulation, images sequence generation, pose estimation and position filtering through an Extended Kalman Filter (EKF). The work presented in this dissertation guaranteed a millimeter-level and degree-level accuracy on relative position and orientation predictions respectively, as resulted from testing on synthetic imagery from MFSPED. The work has been developed with an eye on future improvements of the whole pose prediction pipeline and implementation of techniques to overcome problems such as domain gap.

Questa tesi presenta una pipeline basata su una rete neurale convoluzionale (CNN) per la stima della posa di un satellite non cooperativo utilizzando un’unica immagine monoculare in scala di grigi. La navigazione autonoma in prossimità di un satellite non cooperativo è un problema cruciale nell’industria spaziale moderna, che sta suscitando interesse per applicazioni quali missioni di servizio in orbita e operazioni di rimozione di detriti spaziali (ADR). L’uso di sensori leggeri, poco costosi e a basso consumo energetico come le fotocamere monoculari è preferibile rispetto a sensori più pesanti e ad alto consumo energetico, ma implica lo sviluppo di software più robusti per una stima della posa efficace e accurata. Il contributo principale di questo lavoro è AIKO-NET, una CNN basata su logiche multi- task e su tecniche di deep learning. La rete sfrutta architetture allo stato dell’arte per consentire l’esecuzione parallela di compiti diversi ma correlati che contribuiscano sinergicamente alla stima della posa relativa. AIKO-NET è in grado di localizzare il target nell’immagine e di estrarre le seguenti feature: Heatmap relative a punti del satellite pre-selezionati, Depthmap, Normalmap e Shadowmap. Inoltre, esegue la stima della posa relativa attraverso due metodi: l’approccio diretto consiste nel recuperare la stima della posa 6D direttamente dall’output della "prediction head" EfficientPose; quello indiretto si basa sulle heatmap ed utilizza l’algoritmo Efficient Perspective-n-Point (EPnP) per fornire una stima accurata della posa. Nonostante il "Next-Generation Spacecraft PosE Estimation Dataset" (SPEED+) sia il dataset di riferimento in questo campo, la natura datacentrica di questo progetto ha reso necessario costruire un nuovo dataset da zero: il "Multi-Feature Spacecraft Pose Estimation Dataset" (MFSPED) introduce tre nuove feature maps e rende possibile l’analisi di un approccio modulare e estensivamente multi-task. Infine, AIKO-NET viene introdotta in una pipeline completa, composta dalla simulazione di traiettorie relativa, generazione delle rispettiva sequenze di immagini, stima della posa e applicazione di un "Extended Kalman Filter" (EKF) per la posizione. Il lavoro presentato in questa tesi ha dimostrato una precisione millimetrica nella stima della posizione e dell’ordine del grado nella stima dell’orientamento sulle immagini sintetiche di MFSPED. Questo progetto è stato sviluppato tenendo in considerazione la possibilità di sviluppi futuri e l’implementazione di tecniche per affrontare problemi tipici di questo dominio come il domain gap.