Reinforcement Learning for Autonomous Guidance: From Development to Processor-in-the-Loop Validation

Deep-space missions increasingly require onboard autonomy because communication delays and limited ground contact constrain operations, while onboard computing resources remain limited. Low-thrust interplanetary transfers further amplify these challenges, as optimal solutions span long time horizons and must remain reliable under uncertainties and contingencies. In this context, learning-based guidance is an attractive complement to classical approaches, enabling fast closed-loop policies suitable for onboard execution. This thesis investigates learning-based guidance for autonomous low-thrust interplanetary transfers, aiming to bridge algorithmic performance and onboard feasibility. A database of optimal open-loop trajectories is generated around a nominal solution and used to pretrain a neural policy via behavioural cloning, providing a physically meaningful warm start for subsequent reinforcement learning. To account for operational conditions, the RL training and evaluation environments explicitly include observation errors, actuation errors, and missed thrust events. The results show that supervised pretraining yields substantial improvements in the initial reward and a marked reduction in the number of training steps required to reach asymptotic performance, while also providing smoother optimisation dynamics. Warm-started policies tend to outperform randomly initialised ones in terms of propellant consumption, although they can exhibit worse terminal constraint satisfaction under the current reward and constraint-handling strategy. Robustness tests further show that policies trained without thrust-outage exposure degrade severely when missed thrust events occur, whereas a policy trained with such events remains reliable at the cost of increased propellant consumption. Finally, onboard feasibility is evaluated through a Processor-in-the-Loop validation on an NVIDIA Jetson Orin Nano. The trained network has a small footprint (tens of kilobytes) and achieves sub-millisecond inference time on both CPU and GPU under both tested power profiles. Overall, the thesis supports a development paradigm in which optimal control provides structured priors for learning, robustness is achieved through explicit exposure to uncertainties and failures, and embedded validation is performed early to ensure the deployability of learning-based autonomous guidance.

Le missioni nello spazio profondo richiedono sempre più autonomia a bordo, poiché i ritardi di comunicazione e i contatti limitati con la Terra vincolano le operazioni, mentre le risorse di calcolo a bordo restano ridotte. I trasferimenti interplanetari a bassa spinta amplificano ulteriormente queste sfide, poiché le soluzioni ottimali si sviluppano su orizzonti temporali lunghi e devono rimanere affidabili in presenza di incertezze e contingenze. In questo contesto, la guida basata sull’apprendimento rappresenta un’interessante integrazione agli approcci classici, consentendo l’attuazione di politiche a ciclo chiuso rapide e adatte all’esecuzione a bordo. Questa tesi studia metodi di guida basati sull’apprendimento per i trasferimenti interplanetari autonomi a bassa spinta, con l’obiettivo di conciliare prestazioni algoritmiche e fattibilità di esecuzione a bordo. Viene generato un database di traiettorie ottimali in anello aperto attorno a una soluzione nominale e viene utilizzato per pre-addestrare una rete neurale tramite behavioural cloning, fornendo un’inizializzazione fisicamente significativa per la successiva fase di apprendimento per rinforzo. Per tenere conto delle condizioni operative realistiche, gli ambienti di addestramento e di valutazione includono errori di osservazione, di attuazione e eventi di spinta mancati. I risultati mostrano che il pre-addestramento supervisionato migliora in modo significativo la funzione di ricompensa iniziale e riduce il numero di iterazioni necessarie a raggiungere prestazioni asintotiche, con una dinamica di ottimizzazione più regolare. Le reti preaddestrate tendono a consumare meno propellente rispetto a quelle inizializzate casualmente, sebbene possano mostrare una peggiore soddisfazione dei vincoli terminali con l’attuale strategia di ricompensa. I test di robustezza indicano inoltre che le reti non addestrate a eventi di spinta mancati degradano severamente quando si verificano tali eventi, mentre una rete addestrata includendo tali eventi rimane affidabile al costo di un maggiore consumo di propellente. Infine, la fattibilità a bordo viene valutata tramite una validazione Processor-in-the-Loop su una NVIDIA Jetson Orin Nano. La rete addestrata presenta un footprint ridotto (poche decine di kilobyte) e tempi di inferenza sotto il millisecondo su CPU e GPU in entrambi i profili di potenza testati. Nel complesso, la tesi supporta un paradigma in cui il controllo ottimale fornisce una buona inizializzazione per l’apprendimento, la robustezza viene ottenuta tramite esposizione esplicita alle incertezze e ai guasti, e la validazione embedded viene condotta precocemente per garantire la deployability.