AI-vision based navigation about uncooperative spacecraft: leveraging unreal engine simulations and convolutional neural networks

Accurately estimating the relative pose of a satellite is critical for aerospace missions involving close proximity flying and on-orbit servicing. Traditional methods face signifi- cant challenges under varying lighting conditions and with uncooperative objects, such as defunct satellites. This work addresses these challenges by generating synthetic datasets using Unreal Engine 5 to simulate a satellite in random poses within a geostationary orbit. The poses were computed with MATLAB and the datasets were used to train a convolu- tional neural network (CNN) architecture, specifically SPNv2, leveraging its capabilities in deep learning for pose estimation. This study aims to assess the viability of AI-based navigation in space, focusing on the effectiveness of synthetic datasets and the computational resource requirements. Despite traditionally requiring multiple GPUs for such tasks, this research demonstrates that training conducted on a single NVIDIA GPU yielded promising results. It investigates whether results obtained with extensive computational resources on Earth can be repli- cated in space using limited onboard hardware. The findings suggest that with proper augmentations and post-processing techniques, synthetic datasets can generalize well to real-world scenarios. The research contributes to the ongoing efforts to develop reliable AI-based navigation systems, potentially reducing mission costs and improving the efficiency of satellite op- erations. Future advancements in space navigation will hinge on the mass acquisition of high-quality datasets and the ability to train, test, and research directly in space.

La stima accurata della posa relativa di un satellite è fondamentale per le missioni spaziali che coinvolgono il volo in prossimità e i servizi in orbita. I metodi tradizionali affrontano sfide significative in condizioni di illuminazione variabili e con oggetti non cooperativi, come satelliti defunti. Questo lavoro affronta queste sfide generando set di dati sintetici utilizzando Unreal Engine 5 per simulare un satellite in posizioni casuali all’interno di un’orbita geostazionaria. Le pose sono state calcolate con MATLAB e i set di dati sono stati utilizzati per addestrare un’architettura di rete neurale convoluzionale (CNN), specificamente SPNv2, sfruttando le sue capacità nel deep learning per la stima della posa. Questo studio mira a valutare la fattibilità della navigazione basata sull’IA nello spazio, concentrandosi sull’efficacia dei set di dati sintetici e sui requisiti delle risorse computazionali. Viene investigato se i risultati ottenuti con ampie risorse computazionali sulla Terra possano essere replicati nello spazio utilizzando hardware limitato a bordo. La ricerca dimostra che, con adeguate tecniche di aumentazione e post-elaborazione, i set di dati sintetici possono generalizzare bene agli scenari reali. L’addestramento condotto su una singola GPU NVIDIA ha prodotto risultati promettenti, indicando che ulteriori esplorazioni in questa direzione sono giustificate. I risultati suggeriscono che i futuri avanzamenti nella navigazione spaziale dipenderanno dall’acquisizione massiva di set di dati di alta qualità e dalla possibilità di addestrare, testare e ricercare direttamente nello spazio. Questa ricerca contribuisce agli sforzi in corso per sviluppare sistemi di navigazione basati sull’IA affidabili, potenzialmente riducendo i costi delle missioni e migliorando l’efficienza delle operazioni satellitari.