Reinforcement learning based model predictive control guidance for pinpoint landing on low gravity bodies

The aim of the following thesis is to present a new kind of guidance that allows to obtain a pinpoint landing on low gravity bodies without atmosphere. After a preliminary analysis of different kind of guidance laws already present, a new method has been investigated. This method is obtained by combining the Model Predictive Control (MPC) guidance with Reinforcement Learning (RL) techniques. The main idea behind this method is to enhance the performances of MPC by computing the cost function minimization through machine learning processes in order to overcome the problem related to the computational time usually needed for this kind of operation. Moreover, the combination with the artificial intelligence enables to consider a larger variety of constraints by embedding them in the definition of the learning environment. In order to achieve these tasks, three kinds of Reinforcement Learning algorithms have been considered and applied. Finally the results presented at the end of the work confirm the possibility of the presented method to have an important impact for future missions if deepened and enhanced in the correct way.

Lo scopo di questa tesi è di presentare un nuovo tipo di legge di guida che permetta di ottenere un pinpoint landing su corpi a bassa gravità senza atmosfera. Questo metodo è ottenuto dalla combinazione della legge di guida Model Predictive Control (MPC) con tecniche di Reinforcement Learning (RL). L’idea principale dietro questo metodo è migliorare le performance di MPC calcolando la minimizzazione della relativa cost function tramite processi di machine learning in modo da superare il problema relativo ai tempi di calcolo solitamente richiesti per questo tipo di operazione. Inoltre, la combinazione con l’intelligenza artificiale permette di considerare una maggior varietà di vincoli incorporandoli nella definizione del learning environment. Per raggiungere questi obiettivi, tre tipi di RL algoritmi sono stati considerati ed applicati. Infine i risultati presentati alla fine del lavoro confermano la possibilità che il nuovo metodo presentato possa avere un impatto importante per le future missioni se approfondito e migliorato nel modo corretto.