Unseen non-cooperative spacecraft pose estimation via image-based learning

The accurate estimation of the 6 Degrees-of-Freedom (6D) pose of non-cooperative spacecraft is a fundamental requirement for autonomous vision-based systems operating in orbit, with critical applications in In-Orbit Servicing (IOS) and Active Debris Removal (ADR). Existing deep learning approaches to spacecraft pose estimation are predominantly instance-level, requiring extensive target-specific training and large annotated datasets, which are inherently scarce in the space domain. As a result, such methods exhibit limited generalization to novel, previously unseen targets. To address these limitations, this thesis investigates and adapts a state-of-the-art terrestrial model-based unseen object pose estimation framework to the context of spacecraft proximity operations. The main contributions include the generation of a multi-target dataset of 10,000 synthetic images comprising 28 spacecraft models from the ESA public repository, the introduction of domain-specific adaptations to the estimation framework, and the comprehensive evaluation of pose estimation performance on previously unseen spacecraft. Furthermore, the method was successfully validated on real in-orbit mission imagery acquired by Astroscale Japan during a fly-around of the JAXA H-2A upper stage. Despite the absence of camera intrinsic parameters and ground-truth annotations, the predicted poses were considered satisfactory and allowed to reconstruct a plausible elliptical fly-around trajectory consistent with publicly available mission information. Overall, this work demonstrates that generalizable deep learning pose estimation models can be effectively transferred to the space domain, enabling relative navigation with non-cooperative spacecraft without the need for target-specific training.

La 6D pose estimation di spacecraft non cooperativi è un elemento chiave per sistemi autonomi di vision-based navigation in orbita, con applicazioni in contesti di In-Orbit Servicing (IOS) e Active Debris Removal (ADR). Le soluzioni di deep learning attualmente adottate per la spacecraft pose estimation sono per lo più instance-level e richiedono training specifico per il target, oltre a grandi quantità di dati annotati, intrinsecamente limitati nel dominio spaziale. Questo comporta una capacità di generalizzazione ridotta quando il sistema viene applicato a target nuovi e non visti durante il training. Per superare tali limiti, questa tesi esplora l’adattamento al contesto delle spacecraft proximity operations di un metodo per unseen object pose estimation originariamente sviluppato per applicazioni terrestri. I contributi principali includono la generazione di un dataset multi-target composto da 10.000 immagini sintetiche e contenente 28 modelli di spacecraft pubblicati dell’ESA, l’introduzione di adattamenti specifici all’interno della pipeline di pose estimation, e un’analisi approfondita delle prestazioni su spacecraft non visti in fase di training. Il metodo è stato inoltre validato su immagini reali acquisite in orbita da Astroscale Japan durante un fly-around dello stadio superiore del lanciatore H-2A della JAXA. Nonostante l’assenza dei parametri della camera e dei reali valori delle pose, i risultati si sono rivelati sufficientemente accurati da permettere la ricostruzione di una traiettoria ellittica di fly-around, coerente con le informazioni di missione disponibili. Nel complesso, i risultati mostrano come modelli di unseen pose estimation basati su deep learning possano essere trasferiti con successo al dominio spaziale, consentendo la navigazione autonoma rispetto a spacecraft non cooperativi senza la necessità di training specifico per il singolo target.