Nanosatellites autonomous attitude control with deep reinforcement learning

Nanosatellites take advantage of reduced production cost, lower design complexity and ease of launch with respect to larger satellites, therefore they are a key technology for unmanned low-cost space missions. Nanosatellites are designed to have high reliability but are still vulnerable to extreme and off-nominal events. The standard attitude control laws are pre-determined and fixed for the operative conditions, and any unexpected event requires intervention from the Ground Segment in order to define a new control strategy. Allowing nanosatellites to independently handle their attitude in a robust way, even in critical situations, is an enabling factor towards full nanosatellite autonomy. We propose a control policy based on Deep Reinforcement Learning, which can detect and react to sudden actuation failures, reaching its target attitude. The proposed approach allows the designer to specify the desired control properties by simply defining the reward structure and autonomously adapts to handle sensor/actuator noise. The agent does not need any prior knowledge about the problem, it directly learns to control the satellite while interacting with the (simulated) environment. In this thesis we are presenting our method for nanosatellite attitude control, discussing its main advantages and presenting the road-map for the in-orbit validation of the system on a 6U satellite that will be launched in the frame of an international mission. The experimental results obtained from simulations on relevant nanosatellite hardware will also be illustrated and compared to classical controller performances.

I nanosatelliti rappresentano una soluzione tecnologica sempre più versatile ed efficiente per missioni spaziali di diversa natura, come l’osservazione della Terra, le telecomunicazioni e le dimostrazioni tecnologiche in orbita. Al fine di ridurre tempi, costi e complessità legati allo sviluppo e all’utilizzo di piattaforme nanosatellitari, deve essere garantita una maggiore autonomia (intesa come indipendenza del satellite dal controllo da Terra) e una maggiore robustezza (intesa come capacità del satellite di operare anche al di fuori delle condizioni nominali di missione). I nanosatelliti, come tutti i satelliti in generale, anche se progettati per ottenere un’elevata affidabilità, sono generalmente vulnerabili ad eventi estremi o a condizioni operative non nominali (da qui in avanti si parlerà di eventi inattesi). La natura degli eventi inattesi che un nanosatellite può trovarsi ad affrontare è molto varia e include possibili cambiamenti dello scenario operativo o degli obiettivi di missione, malfunzionamenti dell’hardware di bordo e scenari di missione non esattamente prevedibili soprattutto in missioni di esplorazione in Deep Space (ad esempio, asteroidi, comete). Tali eventi non possono essere completamente previsti durante lo sviluppo del satellite e possono compromettere il successo della missione o l’integrità del satellite stesso. Gli eventi inattesi possono causare una modifica dell’assetto del satellite o malfunzionamenti all’hardware deputato al controllo d’assetto. In questi casi, i sistemi di controllo predefiniti (ad esempio PID), che vengono tipicamente integrati a bordo dei nanosatelliti, non sono in grado di eseguire autonomamente il ripristino e/o il mantenimento dell’assetto desiderato, poiché si ritrovano ad operare al di fuori delle condizioni nominali di progetto. È perciò necessario che i nanosatelliti acquisiscano un maggior livello di autonomia e robustezza per affrontare gli eventi inattesi a cui potrebbero essere esposti durante le loro missioni. Queste caratteristiche possono essere ottenute per mezzo di tecniche di Intelligenza Artificiale che, essendo basate sui flussi logici propri dell’intelligenza umana, hanno la potenzialità di monitorare lo stato del satellite e intervenire in modo tempestivo e autonomo. Infatti, con il termine Intelligenza Artificiale si identificano quelle discipline volte alla realizzazione di agenti intelligenti, cioè entità in grado di percepire l’ambiente esterno e prendere decisioni autonome, al fine di realizzare un obiettivo. Un fattore abilitante per la loro piena autonomia è la capacità dei satelliti di gestire autonomamente il loro assetto in modo robusto, anche in situazioni critiche. Le tecniche di intelligenza artificiale e apprendimento automatico consentono la progettazione di agenti autonomi intelligenti e soluzioni adattive basate sui dati. Proponiamo una politica di controllo d'assetto basata algoritmi di Deep Reinforcement Learning in grado di rilevare e reagire a improvvisi fallimenti di attuazione, raggiungendo il suo assetto target anche in condizioni non nominali. In particolare, come caso di studio, ci concentriamo sul problema del controllo sotto-attuato in caso di guasto della ruota di reazione. L'approccio proposto consente al progettista di specificare le proprietà di controllo desiderate semplicemente definendo una struttura di ricompensa e si adatta autonomamente per gestire il rumore sensore / attuatore. L'agente non ha bisogno di alcuna conoscenza preliminare del problema, impara direttamente a controllare il satellite mentre interagisce con l'ambiente (simulato). In questo documento stiamo presentando il nostro metodo per il controllo d’assetto dei veicoli spaziali, discutendo i suoi principali vantaggi e presentando i prossimi passi per la validazione in orbita del sistema su un satellite 6U che verrà lanciato nel quadro di una missione internazionale. Il sistema è stato integrato e testato sulla piattaforma Hawk-6 di Argotec e i risultati sperimentali hardware nel ciclo saranno illustrati e confrontati con le prestazioni del controller classico.