Reinforcement learning for autonomous optical navigation in cislunar orbit

Spacecraft navigation is a paramount component of every space mission consisting of retrieving the position and velocity of the spacecraft using a combination of onboard sensors and ground-based observations. These data are then utilized within the navigation algorithm, usually a Kalman filter, to resolve the spacecraft's state and ensure the spacecraft is following the desired trajectory. However, the interest in autonomous missions has increased recently, leading to the development of more robust, reliable, and efficient methods. Among these, image-based navigation is a promising approach for autonomous real-time applications. It is based on computer vision techniques and mathematical models to determine the position and velocity of the spacecraft using images captured from an onboard camera. Nevertheless, these methods require high onboard computation effort and high-resolution images. Lately, reinforcement learning has emerged as a favorable approach to addressing guidance and control problems in various scenarios. In this thesis, reinforcement learning is utilized to develop an autonomous optical navigation system, for a spacecraft on a Halo orbit around L2 in the Earth-moon system. Precisely, a convolutional neural network and a multilayer perceptron are used to perform the image processing, with the images coming from a simulated lunar environment developed in computer graphic software. With reinforcement learning the policy is trained via repeated interaction with a simulated environment. Furthermore, after being trained on high-performance computing hardware, the network provides a good estimation of the position of the spacecraft, maintaining the error within admissible values for an entire orbit, showing that reinforcement learning is a powerful and effective method for image-based autonomous navigation.

La navigazione del veicolo spaziale è una componente fondamentale di ogni missione spaziale e consiste nella stima della posizione e della velocità del satellite utilizzando una combinazione di sensori a bordo e osservazioni da terra. Questi dati vengono poi utilizzati all'interno di un algoritmo di navigazione, di solito un filtro di Kalman, per calcolare lo stato del veicolo e garantire che esso segua la traiettoria desiderata. Tuttavia, di recente l'interesse per le missioni autonome è cresciuto, portando allo sviluppo di metodi di navigazione più robusti, affidabili ed efficienti. Tra questi, la navigazione basata sulle immagini è emerso come approccio promettente per l'applicazione in missioni autonome. Si basa su tecniche di computer vision e modelli matematici per determinare la posizione e la velocità del veicolo spaziale utilizzando le immagini catturate da una telecamera a bordo. Tuttavia, questa tipologia di metodi richiede un elevato sforzo computazionale a bordo e immagini ad alta risoluzione. Ultimamente, il reinforceent learning si è imposto come un approccio favorevole per affrontare i problemi di guida e controllo in diversi scenari. In questa tesi, il reinforcement learning viene utilizzato per sviluppare un sistema di navigazione ottica autonoma per un veicolo spaziale su un'orbita Halo intorno a L2 nel sistema Terra-Luna. In particolare, per l'elaborazione delle immagini vengono utilizzate una rete neurale convoluzionale e un perceptron multistrato, con le immagini provenienti da un ambiente lunare simulato sviluppato con un software di computer grafica. Con l'apprendimento per rinforzo, l'agente viene addestrato attraverso l'interazione ripetuta con un ambiente simulato. Inoltre, dopo essere stato addestrato su hardware di calcolo ad alte prestazioni, la rete fornisce una buona stima della posizione del veicolo spaziale, mantenendo l'errore entro valori ammissibili per un'intera orbita, dimostrando che l'apprendimento per rinforzo è un metodo potente ed efficace per la navigazione autonoma basata sulle immagini.