AI-based guidance for spacecraft proximity operations around uncooperative targets

In recent years, space research has heavily shifted its focus towards enhanced on-board autonomy for spacecrafts’ on-orbit servicing (OOS), which, together with the automatization of proximity operations, may include a great variety of activities aimed to increase the reliability, flexibility, and cost-effectiveness of a space mission, lowering down all the possible associated risks. Concurrently, the rapid development of Artificial Intelligence (AI) is strongly influencing aerospace research, particularly in the framework of autonomous guidance, navigation and control (GNC) systems. Therefore, among all, these two research branches may converge towards the autonomy and adaptability of GNC, which may represent one of the most effective ways of reducing human intervention during spacecraft missions. Within this context, adaptive guidance depends on the ability of the system to build a map of the uncertain environment, figuring out its location inside of it and accordingly determining the control law. Thus, this autonomous navigation problem is usually framed as an active Simultaneous Localization and Mapping (SLAM) problem and modeled as a Partially Observable Markov Decision Process (POMDP). Nowadays, the state-of-the-art methodology to approach POMDP optimization is Deep Reinforcement Learning (DRL), which relies on the Proximal Policy Optimization (PPO) algorithm for continuous state-action space models. In this context, this present thesis wants to investigate the design and development of an autonomous agent capable of cleverly planning trajectory around unknown and uncooperative target objects to optimize the shape reconstruction of the target itself. The first part of the work covers all the background analysis and mathematical models selection in order to evaluate the best options for the environment and agent design. These choices are afterwards explained and tested to assess the feasibility of the approach and the baseline performance results. The guidance algorithm is evaluated in terms of target map reconstruction, by rendering the space object with a triangular mesh and then considering the number of quality images for each face. A major differentiation in the algorithm implementation is provided by the employment of either a discrete or a continuous action space, a perfect or noisy state space, and, moreover, different neural network architectures. The proposed model is trained and then extensively tested, always starting from random initial conditions, to verify the generalizing capabilities of the DRL agent. Once the foundation of the agent is set and the robustness of the approach is guaranteed, this guidance block is inserted into a more general AI-based GNC system, based on image processing and navigation tools. Extensive tests, in different scenarios, are performed to verify the capability of the agent and the overall pipeline. In the end, the applicability of DRL methods and neural networks to support autonomous guidance is further corroborated with other kinds of guidance and control environments, aiming to assess the training and testing methodology. Overall, the proposed approach for autonomous guidance design is demonstrated to be an effective possibility towards an increased autonomy of the spacecraft’s GNC system.

Negli ultimi anni, la ricerca spaziale ha gradualmente spostato il focus della ricerca verso una maggiore autonomia a bordo dei satelliti, specialmente per missioni di on-orbit servicing (OOS), che, assieme all'automatizzazione delle operazioni di prossimità, possono includere una grande varietà di attività volte ad aumentare l'affidabilità, la flessibilità e la convenienza economica di una missione spaziale, abbassandone tutti i possibili rischi associati. Allo stesso tempo, il rapido sviluppo dell'Intelligenza Artificiale (IA) sta influenzando fortemente le ricerche aerospaziali, particolarmente nel contesto dei sistemi di guida, navigazione e controllo (GNC) autonomi. Pertanto, tra tutti, queste due branche della ricerca possono convergere verso l’obbiettivo d maggiore autonomia e adattabilità dei sistemi GNC, rappresentando uno dei modi più efficaci per ridurre l'intervento umano durante le missioni spaziali. In questo contesto, la guida adattiva dipende dalla capacità del sistema di costruire una mappa dell'ambiente circostante determinando la sua posizione al suo interno e di conseguenza determinando la legge di controllo. Questo problema di navigazione autonoma è generalmente formulato come un problema attivo di Localizzazione e Mappatura Simultanea (SLAM) e modellato come un Processo Decisionale di Markov Parzialmente Osservabile (POMDP). Oggi, la metodologia all'avanguardia per affrontare l'ottimizzazione POMDP è il Deep Reinforcement Learning (DRL), in particolare basato sull'algoritmo di ottimizzazione noto come Proximal Policy Optmization (PPO), stato dell’arte per i modelli di ambiente con stato-azione continui. In questo contesto, la presente tesi mira ad investigare la progettazione e lo sviluppo di un agente autonomo in grado di pianificare intelligentemente una traiettoria attorno a oggetti spaziali sconosciuti e non collaborativi al fine di ottimizzare la ricostruzione della forma dell’oggetto stesso. Una prima parte del lavoro copre l'analisi di tutto il contesto e la selezione dei modelli matematici al fine di valutare le migliori opzioni per l'ambiente e la progettazione dell'agente. Queste scelte vengono poi spiegate e testate per valutarne la fattibilità dell'approccio e i risultati prestazionali di base. L'algoritmo di guida viene valutato in termini di ricostruzione della mappa dell’oggetto, rappresentandolo come mesh triangolare e quindi considerando il numero minimo di immagini per ogni faccia. Una maggiore differenziazione nell'implementazione dell'algoritmo è fornita dall'impiego di uno spazio di azione discreto o continuo, uno spazio di stato perfetto o rumoroso e, inoltre, diverse architetture di reti neurali. Il modello proposto viene quindi addestrato e ampiamente testato, partendo sempre da condizioni iniziali casuali, per verificarne le capacità di generalizzazione dell'agente. Una volta stabilite le performance di base dell'agente e garantita la robustezza dell'approccio studiato, questo blocco di guida viene inserito in un sistema GNC più generale, basato su elaborazione delle immagini del target e ulteriori strumenti di navigazione per ricostruire lo stato. Vengono eseguiti ampi test in scenari diversi per verificare la capacità dell'agente e dell'intero processo. Alla fine, l'applicabilità dei metodi DRL e delle reti neurali per supportare la guida autonoma viene ulteriormente corroborata con altri tipi di ambienti di guida e controllo, mirando a valutarne la metodologia di addestramento e test. Complessivamente, l'approccio proposto per la progettazione della guida autonoma si dimostra essere una possibilità efficace verso un'aumentata autonomia dei sistemi di GNC dei veicoli spaziali.