Development of a customizable pipeline for synthetic dataset generation for event-based close proximity navigation with un-cooperative spacecraft

The growing density of objects in Low Earth Orbit has intensified the need for autonomous close-proximity navigation capable of safely approaching and deorbiting uncooperative spacecraft. Traditional frame-based vision systems struggle in this regime due to limited onboard computational resources, motion-blur sensitivity, and poor performance under the extreme high-dynamic-range illumination typical of space. Event-based vision (EBV), where sensors asynchronously report brightness changes, offers a promising alternative, providing microsecond latency, sparse data flow, and robustness to challenging lighting. However, the lack of realistic, space-grade event-based datasets severely limits the advancement of learning-based relative navigation algorithms. This thesis addresses this gap by developing a fully customizable, modular synthetic dataset generation pipeline for event-based spacecraft navigation, built around the Blender Cycles rendering engine and a Python-driven architecture. The framework abstracts the complexity of Blender’s internal API through dedicated managers for scene construction, rendering, compositing, metadata extraction, and post-processing. It incorporates physically informed models of solar illumination, Earthshine, camera geometry, and spacecraft dynamics, enabling high-fidelity simulation with precise pose, segmentation, and detection annotations with COCO-like style dataset format. A physically motivated HDR environmental texture of Earth is generated to reproduce realistic orbital lighting, while event streams are synthesized using the v2e simulator to emulate Dynamic Vision Sensor (DVS) characteristics. Using this pipeline, a publicly released dataset representing varied viewpoints, distances, and dynamic states of the Hubble Space Telescope is produced for tasks including pose estimation, object detection, and semantic segmentation. Results demonstrate the pipeline’s ability to generate repeatable, parametric, and extensible datasets while highlighting current limitations in HDR-compatible event simulation and space specific photometric realism. Overall, this work provides both a foundational software tool and a validated dataset to accelerate research in event-based autonomous navigation and to support future efforts in reducing the Sim2Real gap for on-orbit servicing missions.

La crescente congestione dell’orbita bassa terrestre rende sempre più urgente lo sviluppo di capacità di navigazione autonoma in prossimità ravvicinata, indispensabili per l’avvicinamento e la rimozione di satelliti non cooperativi. I tradizionali sistemi di visione a frame mostrano limiti significativi in questo contesto, a causa delle scarse risorse computazionali disponibili a bordo, della sensibilità al motion blur e delle difficoltà nel gestire le condizioni di elevato range dinamico della luminosità tipiche dell’ambiente spaziale. La visione event-based, che acquisisce solo variazioni locali di luminanza con latenza dell’ordine dei microsecondi, rappresenta una valida alternativa, offrendo flussi di dati sparsi, robustezza alle condizioni estreme e maggiore efficienza per applicazioni di navigazione autonoma. Tuttavia, l’assenza di dataset event-based realistici e specifici per lo spazio limita fortemente l’adozione di tecniche di apprendimento automatico per la stima della posa e il riconoscimento di target non cooperativi. Questa tesi affronta tale mancanza proponendo una pipeline totalmente personalizzabile e modulare per la generazione sintetica di dataset event-based dedicati alla navigazione orbitale ravvicinata, costruita attorno al motore di rendering Blender Cycles e a un’architettura software in Python. La pipeline astrae la complessità dell’API di Blender tramite componenti dedicati alla gestione della scena, del rendering, del compositing, dell’estrazione dei metadati e della post-produzione dei dati. Il sistema integra modelli fisicamente informati dell’illuminazione solare, della luce riflessa terrestre, della geometria di camera e della dinamica del satellite, consentendo la simulazione di sequenze ad alta fedeltà con annotazioni complete per stima della posa, individuazione di oggetti e segmentazione dell’immagine in formato simili agli standard COCO. È inoltre generata una texture ambientale HDR della Terra per riprodurre condizioni di luce orbitali realistiche, mentre i flussi di eventi vengono sintetizzati mediante il simulatore v2e, modellando il comportamento di un Dynamic Vision Sensor (DVS). Applicando tale pipeline, è stato prodotto un dataset pubblico contenente viste diversificate del telescopio spaziale Hubble, osservato a differenti distanze, orientazioni e stati dinamici. I risultati evidenziano la capacità dello strumento di generare dataset riproducibili, parametrizzabili ed estendibili, pur sottolineando le attuali limitazioni legate alla simulazione event-based in presenza di HDR e alla modellazione fotometrica specifica dell’ambiente spaziale. Nel complesso, il lavoro fornisce sia un tool software per accelerare lo sviluppo nel campo della visione event-based per la navigazione spaziale, sia un dataset validato utile alla riduzione del divario Sim2Real nelle future missioni di servizio in orbita.