Instance segmentation for features recognition on non-cooperative resident space objects

Active debris removal and unmanned on-orbit servicing missions have gained increasing interest in the last few years, as well as the possibility to perform them through the use of autonomous chasing spacecrafts. In this work, new resources are proposed to aid the design of such missions and the implementation of new control algorithms and autonomous guidance techniques for satellites devoted to the inspection of non-cooperative targets before any proximity operation is initiated. In particular, the use of state-of-the-art Convolutional Neural Networks (CNNs) performing object detection and image segmentation is proposed and its effectiveness in recognising features and parts of the target satellite is evaluated. To this aim, such Machine Learning (ML) algorithms have to be trained on representative datasets, that is, in this case, on a batch of carefully annotated images of tumbling satellites taken from other spacecrafts in relative orbit around them. No reliable dataset of this kind exists to date since something similar has only been achieved on images taken from the Internet. Here lies the raison d’être of this paper: to overcome this limitation a synthetic dataset has been created; i.e. CAD models of several existing satellites have been loaded on a 3D animation software and used to programmatically render images of the objects from different point of views and in different lighting conditions, together with the necessary ground truth labels and masks for each image. The results show how a relatively low number of iterations is sufficient for a CNN trained on such dataset to reach a mean Average Precision (mAP) value in line with the ones scored by the same algorithms on more common datasets, showing that using only artificially generated images to train the model does not compromise the learning process. A comparison between the performance obtained when training the neural network on images of a single satellite and the one obtained on a dataset containing pictures of several different spacecrafts is provided. To conclude, the method is tested on images from a real on-orbit servicing mission, namely the one targeted to the Intelsat 901 communication satellite.

Le missioni per la rimozione attiva dei debris spaziali e quelle per il servicing in orbita hanno guadagnato, insieme alla possibilità di essere operate da satelliti a guida autonoma, crescente interesse negli ultimi anni. In questo lavoro viene proposto un nuovo approccio per aiutare nella progettazione di tale genere di missioni e l’implementazione di nuovi algoritmi di guida e controllo per satelliti votati all’ispezione di obiettivi non cooperanti prima dell’inizio delle manovre di prossimità. In particolare, si propone l’uso di Convolutional Neural Networks (CNNs) che eseguano object detection and image segmentation e se ne valuta l’efficacia nel riconoscere parti e caratteristiche del satellite obiettivo. A questo scopo, tali algoritmi di Machine Learning (ML) devono essere addestrati su dataset sufficientemente rappresentativi, ovvero, in questo caso, su una serie di immagini accuratamente etichettate di satelliti alla deriva scattate da altri satelliti in orbita relativa intorno ad essi. Ad oggi non esiste alcun dataset di questo tipo, qualcosa di simile è stato fatto solo su immagini prese da Internet. Qui risiede la raison d’être di questo lavoro: per superare questo problema, si sono creati dataset artificiali; nello specifico, modelli CAD di satelliti (esistenti e non) sono stati caricati su un programma di odellazione 3D e usati per la generazione programmatica di immagini del satellite obiettivo da differenti punti di vista e in differenti condizioni di illuminazione, simultaneamente alle maschere che definiscono la posizione delle parti in ogni immagine. I risultati mostrano come un numero relativamente basso di iterazioni di addestramento sia sufficiente per raggiungere valori di mean Average Precision (mAP) in linea con quelli ottenuti dagli stessi algoritmi su dataset più comuni, dimostrando come l’uso di immagini artificiali per l’addestramento del modello non comprometta il processo. Si sono inoltre comparate le performance ottenute addestrando la rete neurale su un singolo satellite con quelle ottenute su dataset che includono immagini di più satelliti diversi. Infine, il metodo è stato testato su immagini di una missione reale di on-orbit servicing, quella che ha avuto come obiettivo il satellite Intelsat 901.