End-to-end CNN approaches for small body relative pose estimation: proof of concept with detection, segmentation, regression and direct estimation

This thesis aims to demonstrate the feasibility and the effectiveness of the very first step of a CNN-based autonomous relative navigation algorithm: the possibility to employ neural networks of different kinds to estimate the full 6D pose of a small natural body (a 3D position vector and 3 rotation components) only based on grayscale images. To allow the training of neural networks, a dataset made of 45,514 grayscale images, each coupled to the necessary annotations, was specifically developed for this work; the dataset was made public, to address the scarcity of resources of this kind. The dataset also contains 6 test sets made of consecutively-taken images along three different ellipse arcs, which turn out to be of use in order to test any kind of vision-based navigation algorithm in a more realistic scenario rather than on a varied and randomized dataset, which is instead instrumental to train a robust neural network. To carry out the pose estimation process, the 15 most prominent boulders present on the dataset are used as target features; to try and identify the position of their centroids, the convolutional neural networks EfficientPose-ϕ0 and EfficientPose-ϕ1, are used to detect and classify these boulders and directly estimate the rigid transformation from the camera to an asteroid-fixed reference frames, which is a novel approach to relative navigation. Additionally, YOLOnano-seg, YOLOmid-seg were employed to perform instance segmentation on the asteroid surface, and YOLOnano-pose to directly regress the centroids location. The direct pose estimation approach is therefore evaluated against the centroid-approximation based ones, which leverage on the solution of an EPnP problem. After having trained these CNNs, the ones with the most promising performances are exploited in the design of a conceptual relative navigation pipeline, a decision-tree like system which selects the NN to use to predict the pose of the target body based on the context, in order to get the best out of each method. This system is also tested on the 6 test-sets, to prove that a neural network-based asteroid relative navigation algorithm can solve the 6D pose estimation problem, reaching a high degree of accuracy, specifically with an average relative translation error just above 1% and a rotation error lower than 5 deg. This pipeline will also be analyzed in terms of computational requirements, showing that space-level hardware is capable of supporting it.

Questa tesi ha l’obiettivo di dimostrare la fattibilità e l’efficacia del primo passo di un algoritmo di navigazione relativa autonoma basato su reti neurali convoluzionali (CNN): la possibilità di impiegare reti neurali di vario tipo per stimare la posa completa a 6 gradi di libertà (un vettore posizione 3D e tre componenti rotazionali) di un corpo naturale, utilizzando esclusivamente immagini in bianco e nero. Per permettere l’addestramento delle reti neurali, è stato appositamente sviluppato per questo lavoro un dataset composto da 45.514 immagini, ciascuna associata alle annotazioni necessarie; tale dataset è stato reso pubblico per rispondere alla scarsità di risorse di questo tipo. Il dataset include anche 6 set di test, composti da immagini acquisite in successione lungo 3 archi ellittici, utili per testare algoritmi di navigazione basati sulla visione in scenari più realistici rispetto a quello rappresentato da un dataset contenente immagini variegate, utile invece per addestrare reti neurali robuste. Per effettuare la stima della posa, vengono utilizzati i 15 massi più prominenti presenti nel dataset; per approssimarne la posizione dei centroidi, si impiegano le CNN EfficientPoseϕ0 ed EfficientPose-ϕ1, in grado di rilevare e classificare tali massi e stimare direttamente la trasformazione tra camera e asteoroide, quest’ultimo un approccio innovativo alla navigazione relativa. Vengono inoltre impiegate YOLOnano-seg e YOLOmid-seg per eseguire la instance segmentation della superficie e YOLOnano-pose per regredire la posizione dei centroidi. L’approccio di stima diretta della posa viene quindi confrontato con quelli basati sull’approssimazione dei centroidi e sulla risoluzione di un problema EPnP. Le reti neurali più promettenti vengono impiegate nella progettazione di una pipeline concettuale di navigazione relativa, un sistema ad albero decisionale che seleziona la CNN da utilizzare per la stima della posa in base al contesto, sfruttando i punti di forza di ciascun metodo. Il sistema viene testato sui 6 set di test, dimostrando la possibilità di utilizzare un algoritmo di navigazione relativa di questo tipo per risolvere il problema di stima della posa a 6 DoF, raggiungendo un’elevata accuratezza, con un errore medio relativo di traslazione appena superiore all’1% e un errore rotazionale inferiore ai 5 gradi. La pipeline viene infine analizzata in termini computazionali, mostrando che può essere supportata da hardware di livello spaziale.