Deep reinforcement learning for smart small bodies mapping during proximity operations

Small bodies mapping is a crucial but challenging capability for space exploration missions. Current missions heavily rely on human intervention not only for on ground map refinement, but also for operations supervision and planning. In fact, the extreme variety of body shapes, dynamical environments and illumination conditions makes spacecraft autonomous mapping a complex task in relation to the limited computational resources available on-board. This thesis develops a method to autonomously plan the timing of observations during the mapping of an unknown small body, with particular application to imaging for stereophotoclinometry. The goal is to define a policy that improves mapping quality, while both limiting the amount of images to downlink and fastening the mapping process. The planning framework is defined as a Partially Observable Markov Decision Process (POMDP), proposing a novel problem architecture focused on data collection. Deep Reinforcement Learning (DRL) is exploited to design the planning policies, comparing two different techniques: Neural Fitted Q (NFQ) and Deep Q Network (DQN). The obtained policies are extensively tested over a wide range of different possible scenarios in order to verify their generalizing capability, which is of great importance when exploring an unknown environment. Results show that the proposed solutions are capable to deal with far-off different scenarios and outperform simple benchmarks. Then, a computational analysis is addressed to determine feasibility and limits of a possible on-board implementation of the algorithm. The proposed methodology reveals to be a promising step forward in autonomous operations, helping in decreasing the human effort during unknown small bodies mapping and increasing imaging exploitation effciency with a simple and flexible approach.

La mappatura di piccoli corpi celesti sconosciuti è una fase cruciale ed ardua per le missioni spaziali esplorative, attualmente resa possibile grazie ad un significativo intervento umano nella realizzazione della mappa e nella supervisione e pianificazione delle operazioni. Infatti, l'estrema varietà di tali oggetti celesti in quanto a forma, ambiente dinamico ed illuminazione, rende la mappatura un compito complesso in relazione alle limitate risorse computazionali disponibili a bordo. Questa tesi sviluppa un metodo per pianificare autonomamente la tempistica delle osservazioni durante la mappatura di un piccolo corpo celeste ignoto, in vista della successiva elaborazione delle immagini a terra attraverso stereo-fotoclinometria. L'obiettivo è definire una politica che velocizzi e migliori la qualità della mappatura, limitando la quantità di dati da trasmettere. La pianificazione è formulata come processo decisionale di Markov parzialmente osservabile (POMDP), proponendo un'architettura innovativa focalizzata sulla raccolta delle immagini e che adotta l'apprendimento per rinforzo come metodo di soluzione. Si confrontano le tecniche Neural Fitted Q (NFQ) e Deep Q Network (DQN), testando le politiche di pianificazione così ottenute su una vasta gamma di scenari e verificandone la generalità. I risultati mostrano che entrambe le soluzioni hanno prestazioni superiori a semplici benchmarks, si adattano a scenari alquanto differenti e migliorano l'efficienza della mappatura. Fattibilità e limiti di una possibile implementazione dell'algoritmo a bordo sono indagati con un'analisi computazionale. La metodologia proposta si rivela un promettente passo avanti verso le operazioni autonome, aiutando a diminuire lo sforzo umano durante la mappatura di piccoli corpi celesti ignoti ed aumentando l'efficienza nella raccolta delle immagini con un approccio semplice e flessibile.