Reinforcement learning with behavioral cloning pre-training for magnetic detumbling and angular-rate regulation of spacecraft

This thesis investigates reinforcement learning for magnetic detumbling and angular-rate regulation of spacecraft, using magnetorquers as the only actuators. The control objective is defined on the angular velocity rather than the orientation: the agent drives an arbitrary initial tumble to a target angular-rate setpoint. Magnetic-only attitude control systems are inherently underactuated, since the torque generated by a magnetorquer is always perpendicular to the local geomagnetic field vector, which makes instantaneous three-axis control impossible. Classical controllers handle this limitation through time-varying control laws that exploit the orbital variation of the magnetic field direction, at the cost of either being purely rate-based, requiring an accurate orbital model, or imposing a non-trivial computational load. A learning-based controller offers a complementary trade-off, since a trained neural network has a fixed inference cost and can in principle absorb the time-varying structure of the problem during offline training. Existing reinforcement learning approaches to magnetic attitude control train the policy from random initialization, which is shown in this work to be unreliable in the weak-actuation, long-episode regime characteristic of magnetorquer-only systems. This thesis proposes a hybrid training pipeline that addresses this difficulty. The neural network policy is first warm-started by behavioral cloning on demonstrations generated by a modified B-dot controller, the critic is then pre-trained on the same demonstrations, and the resulting agent is fine-tuned by Proximal Policy Optimization toward a target setpoint that differs from the teacher. The methodology is developed and evaluated in a MATLAB/Simulink environment representative of a small-satellite magnetic attitude control system. The reinforcement learning problem is formulated with a nine-dimensional observation vector built from magnetometer measurements and the angular-rate error, a discrete action space of 125 PWM duty cycle combinations, and an exponential reward function with moving-average filtering. The practical challenges encountered during development are documented in detail, including the non-convergence of naive PPO and of cold-started off-policy fine-tuning in this environment, together with the imbalance of the demonstration distribution. In a Monte Carlo evaluation, the trained policy detumbles the spacecraft on every run, reaching the target angular velocity with a mean final error of about 0.0025 rad/s and a mean settling time of about 4500 s. The same policy generalizes across orbital inclinations from 15 to 90 degrees without retraining.

Questa tesi studia l'applicazione dell'apprendimento per rinforzo al detumbling magnetico e alla regolazione della velocità angolare di un veicolo spaziale, utilizzando i magnetorquer come unici attuatori. L'obiettivo di controllo è definito sulla velocità angolare e non sull'assetto: l'agente porta una rotazione iniziale arbitraria verso un valore di riferimento di velocità angolare. I sistemi di controllo d'assetto puramente magnetici sono intrinsecamente sottoattuati, poiché la coppia generata da un magnetorquer è sempre perpendicolare al vettore del campo geomagnetico locale, il che rende impossibile il controllo istantaneo sui tre assi. I controllori classici affrontano questa limitazione mediante leggi di controllo tempo-varianti che sfruttano la variazione orbitale della direzione del campo magnetico, al costo di essere puramente basati sulla velocità angolare, di richiedere un modello orbitale accurato, oppure di imporre un carico computazionale non trascurabile. Un controllore basato sull'apprendimento offre un compromesso complementare, poiché una rete neurale addestrata ha un costo di inferenza fisso e può, in linea di principio, assorbire in fase di addestramento offline la struttura tempo-variante del problema. Gli approcci di apprendimento per rinforzo esistenti per il controllo d'assetto magnetico addestrano la politica a partire da un'inizializzazione casuale, che in questo lavoro si dimostra inaffidabile nel regime ad attuazione debole e a episodi lunghi tipico dei sistemi a soli magnetorquer. Questa tesi propone una pipeline di addestramento ibrida che affronta tale difficoltà. La politica, rappresentata da una rete neurale, viene dapprima inizializzata tramite clonazione comportamentale su dimostrazioni generate da un controllore B-dot modificato; il critico viene quindi pre-addestrato sulle stesse dimostrazioni; infine l'agente risultante viene affinato mediante Proximal Policy Optimization verso un valore di riferimento diverso da quello del controllore dimostratore. La metodologia è sviluppata e valutata in un ambiente MATLAB/Simulink rappresentativo di un sistema di controllo d'assetto magnetico per piccoli satelliti. Il problema di apprendimento per rinforzo è formulato con un vettore di osservazione a nove dimensioni costruito a partire dalle misure del magnetometro e dall'errore di velocità angolare, uno spazio delle azioni discreto composto da 125 combinazioni di duty cycle PWM e una funzione di ricompensa esponenziale con filtraggio a media mobile. Le difficoltà pratiche incontrate durante lo sviluppo sono documentate in dettaglio, tra cui la mancata convergenza del PPO addestrato da zero e dell'affinamento off-policy inizializzato a freddo in questo ambiente, oltre allo sbilanciamento della distribuzione delle dimostrazioni. In una valutazione Monte Carlo la politica addestrata porta con successo il veicolo alla velocità angolare desiderata in ogni prova, con un errore finale medio di circa 0.0025 rad/s e un tempo di assestamento medio di circa 4500 s. La stessa politica generalizza su inclinazioni orbitali da 15 a 90 gradi senza necessità di un nuovo addestramento.