Analysis and validation of spaceborne synthetic imagery using a vision-based pose initialization algorithm for non-cooperative spacecrafts

The capability of doing close range proximity operations between spacecrafts to either repair, refuel or deorbit end of life and nonfunctional is more and more becoming a key-enabling factor for future space missions. When approaching uncooperative spacecrafts (no markers or other specific supportive means) it is also required that the spacecraft which performing the approach must be able to perform onboard estimates the pose (i.e., relative position and attitude) in order to correctly move towards - and eventually grasp - the target space object. The usage of vision-based sensors for pose estimation is particularly attractive to solve the problem of pose determination due to their low volumetric and power requirements, particularly in comparison to other systems such as LIDAR. The capability of rendering thousands of images of the the target space object is particularly important when developing vision-based techniques aiming at solving the pose problem. For example, deep learning techniques relies on large annotated data-sets of images. For what concerns terrestrial applications, there are a plethora of data-sets commonly available, however for spaceborne applications there is a general lack of such data-sets. The main reason arises from the difficulty of acquiring realistic images of the desired space object which can be considered representative of a data-set taken by a real monocular camera. The purpose of this thesis is to try to to overcome this limitation by presenting a method based on ray tracing which let the user generate thousand of images of a desired spacecraft given its CAD model and the desired attitude, which will be then used to implement and test a vision-based pose estimation algorithm. To reach the aforesaid purposes, the first thing made is to identify how to correctly model the scene which is being represented, by identifying all the correct optical parameters to assign to the various Earth's surfaces (such as oceans, clouds and terrains) and to the spacecraft's surfaces (which can be made of composite materials, metallic materials, covered with MLI or solar panels) which are being represented. Next, is important to set the correct illumination conditions (so, simulate sunlight). To have an image as much realistic as possible, it is of crucial importance also to simulate the camera behavior in terms of aperture angle and intrinsic noise of the sensor. Once the images are generated, they can be analyzed by using the desired vision-based algorithm. For what concerns this work, the images have been used to analyze and validate an innovative algorithm meant to solve the pose initialization problem called "SVD (Sharma - Ventura - D'Amico) algorithm". The "SVD algorithm" tries to estimate the unknown pose of the target by matching the geometrical information about the target (in the form of its 3D CAD model), typically stored on-board the spececraft which is performing the servicing maneuvers, with 2D geometrical information extracted from the image using edge detection techniques. The "SVD algorithm" adds some improvements with respect to the current state of the art of edge detection techniques, in particular it offer: the weak gradient eliminator technique to select a region of interest around the target spacecraft in the image, the usage of parameters which can be scaled with distance for what concerns the edge detection procedure and a smarter organization of the features extracted from the 2D images, which stores them in "perceptual groups", which allows to obtain a sensible reduction of the matching combinations. The thesis ends by comparing the generated data-set of images against the SPEED data-set - the first publicly available machine learning set of synthetic and real spacecraft imageries - and with a preliminar validation of the SVD algorithm.

La possibilità di effetuale manovre a corto raggio in contesti spaziali al fine di compiere missioni di riparazione, rifornimento, rimozione di satelliti non più operativi o detriti spaziali privi di controllo d'assetto sta assumendo sempre più importanza per la programmazione delle future missioni spaziali. Nelle missioni che prevedono l'avvicinamento ad un satellite non-cooperante (cioè non avente alcun tipo di marcatore o supporto che permetta di conoscere a priori il suo assetto relativo), è altresì molto importante che il satellite che effettua le operazioni di avvicinamento sia anche in grado di calcolare con sufficiente precisione l'assetto e la distanza relativa rispetto al target, in modo da potersi avvicinare correttamente ed eventualmente afferrare il satellite target. In questo contesto, l'impiego di sensori di tipo vision-based per il calcolo di assetto e posizioni relativi risulta particolarmente interessante per via delle ridotte dimensioni e del ridotto assorbimento di potenza che caratterizza i sensori di tipo ottico, come può essere una telecamera, rispetto ad altre soluzioni come per esempio quelle basate su sensori LIDAR. Per poter implementare tecniche di controllo e navigazione vision-based, la posibilità di renderizzare migliaia di immagini dello scenario operativo risulta dunque una tecnologia chiave. Per esempio, le tecniche di deep learning si basano sull'analisi di grandi data-set di immagini. Per quanto riguarda le comuni applicazioni terrestri, la disponibilità di un data-set non rappresenta oggigiorno un problema, data la pletora di immagini disponibili. Lo stesso tuttavia non si può dire per quanto riguarda invece le applicazioni spaziali. Le principali ragioni sono rappresentate dalla ogettiva difficoltà di acquisire immagini sufficientemente realistiche e che possano considerarsi come rappresentative di un data-set. Lo scopo di questa tesi è dunque quello di cercare di superare questa limitazione impiegando tecnologie di ray tracing al fine di creare uno strumento in grado di produrre automaticamente migliai di immagini di un determinato satellite, noto il suo modello CAD e l'assetto desiderato. Le immagini così prodotto verranno poi utilizzate al fine di implementare e testare un algoritmo vision-based atto a stimare assetto e posizione relativi del satellite target rappresentato nelle immagini. Per il raggiungimento dei suddetti obiettivi, la prima cosa da fare è capire come modellare correttamente la scena da rappresentare, andando ad individuare quali sono i corretti parametri ottici da assegnare alle diverse superfici terrestri (oceani, nuvole e terreno) ed alle superfici del satellite (superfici che possono essere di materiale composito, metallico, rivestite da MLI o pannelli solari) che vogliamo rappresentare. Successivamente, è necessario impostare le corrette condizioni di luminosità (ovvero, simulare correttamente la luce solare). Al fine di avere un immagine quanto più realistica possibile è altresì importante simulare correttamente anche il comportamento della camera, in termini di angolo di apertura, risoluzione e rumore intrinseco del sensore. Una volta prodotte le immagini, esse possono essere analizzate utilizzando la metodologia desiderata. Per quanto riguarda questo lavoro, si è scelto di implementare per un algoritmo innovativo per il calcolo di assetto e posizione relativi di un satellite target non cooperante, denominato "algoritmo SVD (Sharma-Ventura-D'amico)". L'algoritmo SVD cerca di stimare assetto e posizione relativi del satellite target andando ad effettuare un match fra le informazioni geometriche del target stesso (sotto forma di modello CAD tridimensionale) - tipicamente presenti all'interno del satellite che effettua l'avvicinamento - con features bidimensionali estratte dall'immagine (sotto forma di segmenti appartenti alla silhouette del satellite target) tramite tecniche di edge detection. L'algoritmo SVD apporta alcuni miglioramenti rispetto a quello che è lo stato dell'arte, in particolare presenta: una tecnica di eliminazione dei gradienti deboli per determinare una regione di interesse che definisca dove si trovi il satellite target all'interno dell'imagine, la definizione di parametri scalabili sulla distanza per quanto riguarda la procedura di edge detection ed un processo di catalogazione delle features che le classifica in gruppi geometrici, il quale consente di ottenere una consistente riduzione delle possibilità di matching combinando intelligentemente i suddetti gruppi geometrici. La tesi si conclude quindi proponendo al lettore una comparazione qualitativa fra le immagini sintetiche sviluppate per questo progetto e le immagini appartenenti al data-set SPEED - il primo data-set comprendente immagini sintetiche e reali disponibile pubblicamente - e con una validazione preliminare dei risultati ottenuti applicando l'algoritmo SVD sulle prime.