Enhancing cislunar proximity operations by integrating reinforcement learning into classical relative guidance methods

The growing interest in cislunar exploration, particularly missions involving the Lunar Gateway, highlights the need for guidance systems capable of handling the complex dynamics of Near Rectilinear Halo Orbits (NRHOs). A reliable autonomous guidance is crucial to ensure adaptability and minimize human intervention, especially in deep space missions, where communication delays impose self-sufficiency. At the same time, purely AI-driven approaches may lack the reliability and interpretability required for critical space applications. To address these challenges, this work explores the integration of Reinforcement Learning (RL) into state-of-the-art relative guidance methods, aiming to enhance flexibility and robustness in proximity operations while ensuring reliability. The proposed algorithm incorporates RL in a structured manner, leveraging classical guidance techniques to maintain system interpretability and safety. Specifically, the methodology employs a hybrid approach combining Approximating Sequence of Riccati Equations (ASRE) for trajectory optimization, along with Artificial Potential Field (APF) for path constraints avoidance, and Sliding Mode Control (SMC) for robust control. The RL agent's role is strategically limited to selecting the most suitable Guidance configuration. This work starts with an overview of current state-of-the-art guidance methods, including RL-based strategies. After establishing the theoretical foundations, the problem is formulated, emphasizing key assumptions and modularity. The guidance algorithm is then defined and presented in detail. Eventually, extensive simulations in a CR3BP environment validate the approach, demonstrating its effectiveness in rendezvous and docking scenarios, especially in the aposelene region. Performance comparisons highlight the advantages of the hybrid RL-aided system over purely APF+SMC method. Future works could further enhance the framework by improving the environmental model, testing additional path constraints, automating waypoint generation, or expanding RL tasks. These developments would contribute to more autonomous and efficient spacecraft operations, even in complex orbital environments.

Il crescente interesse per l'esplorazione cislunare, in particolare per le missioni che coinvolgono il Lunar Gateway, evidenzia la necessità di sistemi di guida in grado di gestire le complesse dinamiche delle orbite halo quasi rettilinee (NRHO). Una guida autonoma affidabile è fondamentale per garantire adattabilità e ridurre l'intervento umano, soprattutto nelle missioni nello spazio profondo, dove i ritardi nelle comunicazioni richiedono un'elevata autosufficienza. Allo stesso tempo, approcci basati esclusivamente sull'intelligenza artificiale potrebbero non offrire il livello di affidabilità e interpretabilità richiesto per applicazioni spaziali critiche. Questo lavoro esplora l'integrazione del Reinforcement Learning (RL) nei moderni metodi di guida relativa, con l'obiettivo di migliorarne la flessibilità e robustezza nelle operazioni di prossimità, garantendo al contempo affidabilità. Il framework proposto incorpora il RL in modo strutturato, sfruttando le tecniche di guida classiche per preservare l'interpretabilità e la sicurezza del sistema. Nello specifico, la metodologia impiega un approccio ibrido che combina Approximating Sequence of Riccati Equations (ASRE) per l'ottimizzazione della traiettoria, Artificial Potential Field (APF) per l'evitamento delle collisioni e Sliding Mode Control (SMC) per un controllo robusto. Il ruolo dell'agente è strategicamente limitato alla selezione della configurazione di guida più adeguata. Il lavoro inizia con una panoramica sui metodi di guida, comprese le strategie basate su RL. Dopo aver stabilito le basi teoriche, il problema viene formulato, evidenziando le principali assunzioni e la modularità del sistema. Successivamente, l'algoritmo di guida viene definito e presentato nel dettaglio. Infine, simulazioni estese in un ambiente CR3BP validano l'approccio, dimostrandone l'efficacia nelle operazioni di rendezvous e docking, in particolare nella regione dell'aposelenio. I confronti prestazionali evidenziano i vantaggi del sistema ibrido RL-aided rispetto al metodo APF+SMC. Futuri sviluppi potrebbero migliorare ulteriormente il metodo attraverso un raffinamento del modello ambientale, testando vincoli aggiuntivi, l'automazione della generazione di waypoint o l'ampliamento delle applicazioni RL. Questi progressi contribuirebbero a operazioni spaziali più autonome ed efficienti, anche in ambienti orbitali complessi.