Adaptive guidance via Meta-Reinforcement Learning : ARPOD for an under-actuated CubeSat

The need for a solution of very complex space missions, aimed at providing global services on a large scale, has played a key role in the development of autonomous spacecrafts. Classical control techniques have been surpassed in terms of autonomy by artificial intelligence methods, such as machine learning. In particular, a promising technique known as Meta-Reinforcement learning is recently emerging as the strongest method to solve a multitude of problems. For space applications, it can be seen as a way through for solving complex control problems such as the guidance of a cluster of small satellites. This master thesis focuses on demonstrating the ability of Meta-Reinforcement learning algorithm to accomplish a safe planar Autonomous Rendezvous, Proximity Operation and Docking (ARPOD) manoeuvre with an under-actuated CubeSat from different starting points in a small region. Safety considerations and uncertainties on the dynamics rise the complexity of the problem under analysis. The promising future perspective of Meta-Reinforcement learning could enable even more complex missions, providing to mankind the possibility to explore space in an unprecedented way.

Negli ultimi anni, la necessità di risolvere missioni spaziali sempre più complesse, mirate a garantire servizi globali in larga scala nel settore delle telecomunicazioni, della navigazione satellitare o per scopi ingegneristici quali la rimozione di detriti spaziali, ha portato allo sviluppo di satelliti autonomi. L’utilizzo di metodi di Intelligenza Artificiale (AI) rappresenta una via alternativa e moderna alle tecniche di controllo classiche. Queste ultime, sebbene ben consolidate nel campo ingegneristico, soffrono di una minore autonomia decisionale e di una maggiore complessità nell’ implementazione rispetto a tecniche moderne come il machine learning. L'obiettivo di questo elaborato è di dimostrare come una tecnica di machine learning, nota come Meta-Reinforcement Learning, sia in grado di realizzare una manovra di Autonomous Rendezvous, Proximity Operation and Docking (ARPOD) con un CubeSat dotato di un basso numero di attuatori, prendendo in considerazione una serie di vincoli e di incertezze nella dinamica per garantire la sicurezza della missione e la robustezza della soluzione.