Multispectral imaging for autonomous relative navigation around uncooperative space objects

Spacecraft autonomous relative navigation is a complex yet critical challenge for future space missions. The growing demand for autonomy in space operations addresses key limitations associated with ground-based control, such as communication delays and signal blackouts, while at the same time enhancing mission frequency, robustness, and reliability. This thesis explores innovative techniques for relative position and attitude (pose) estimation, with a focus on uncooperative targets, introducing the concept sensor fusion between monocular cameras operating in the Visible Spectrum (VIS) and Thermal In- frared (TIR) spectral bands. Recent advancements in the field have primarily focused on relative pose estimation using imaging sensors in the visible spectral band. Over the years, various architectures have demonstrated significant accuracy in terms of relative pose estimation, and in recent years, Artificial Intelligence (AI)-based techniques have gained significant popularity within the research community. However, despite such advancements, most of the on-going research remains centered on VIS imaging. This spectral band introduces constraints to navigation algorithms, particularly due to the dynamic illumination conditions encountered during proximity operations. The primary aim of this thesis is to enhance the robustness and applicability of vision-based navigation algorithms by implementing multispectral data fusion strategies through the introduction of TIR imaging within the Guidance, Navigation and Control (GNC) chain. Additionally, it aims at developing advanced navigation architectures that combine classical Image Processing (IP) techniques with state-of-the-art AI-based approaches. Various mission scenarios are analyzed, focusing on their impact on the choice of the state estimation technique, as well as its robustness and feasibility for implementation. The two main multispectral data fusion approaches, i.e. pixel-level image fusion and high-level information fusion are introduced and critically analyzed. The best algorithmic choice in terms of pixel-level image fusion techniques is selected through extensive tests on synthetically generated VIS and TIR images. A novel sensor handover strategy is then presented within a tightly-coupled navigation chain to perform high-level data fusion and to automatically discard a spectral band when it is no longer providing meaningful measurements. Such innovative approach is tested against a classical VIS-only navigation solution, proving its efficacy both in terms of robustness and estimation accuracy against challenging illumination conditions. Furthermore, the same navigation chain is tested on fused VIS-TIR images, once again evaluating the benefits of the multispectral data fusion approach with respect to the sensing strategy involving a single spectral band. Lastly, the two data fusion approaches are compared to assess best suited architecture for combining the information of the distinguished spectral bands. In terms of relative navigation architecture developments, a novel loosely-coupled navigation chain relying on a Convolutional Neural Network (CNN)-based pose estimation block is introduced. Within this context, the best filtering techniques to complement such navigation chain are evaluated, both in terms of relative rotation and relative translation. The selected robust H∞ filter for relative position estimation and the Invariant Extended Kalman Filter IEKF (IEKF) for relative attitude estimation are then incorporated into a fully autonomous GNC chain for uncooperative target inspection. The GNC chain is finally tested in meaningful scenarios, highlighting the benefits of the proposed filtering techniques with respect to the mapping performances achieved by the inspecting satellite. Still within the context of uncooperative target inspection, a novel dual-absolute navigation filter for relative position estimation is developed to process the Line Of Sight (Line-of-Sight (LOS)) extracted from both VIS and TIR images. Such filtering technique is integrated within a full GNC system, highlighting its interactions with the other functional blocks of the pipeline and the possible failure modes. Critical analyses are presented for both nominal and off-nominal conditions, showing promising results in terms of estimation accuracy and robustness. It can be concluded that all the different approaches and algorithmic solutions proposed in the present Thesis provide promising results, representing positive advances within the field of vision-based proximity relative navigation with uncooperative objects.

La navigazione autonoma relativa dei veicoli spaziali è una sfida complessa ma fondamentale per le future missioni spaziali. La crescente richiesta di autonomia dei satelliti deriva da alcune fondamentali limitazioni associate al controllo da terra, come i ritardi nelle telecomunicazioni o black-out del segnale, allo stesso tempo ponendosi come obiettivo un miglioramento della robustezza e affidabilità delle missioni. Questa tesi esplora delle tecniche innovative per la stima della posizione ed assetto (posa) relativi, concentrandosi su oggetti non cooperativi, e introducendo il concetto di sensor fusion tra una fotocamera monocolare che opera nella banda spettrale del visibile (VIS) e una fotocamera termica (TIR). I piu recenti sviluppi in questo settore si sono focalizzati principalmente sulla stima della posa relativa utilizzando sensori che operano nella banda spettrale del visibile. Durante gli anni, diverse architetture hanno dimostrato notevoli capacità in termini di accuratezza nella stima della posa, e più di recente, techniche basate sull'intelligenza artificiale hanno raggiunto una significativa popolarità nella comunità scientifica. Tuttavia, nonstante questi progressi, la maggior parte della ricerca rimane attualmente focalizzata sulle immagini VIS. Questa banda spettrale introduce limitazioni agli algoritmi di navigazione, specialmente a causa delle condizioni di illuminazioni dinamiche che si affrontano durante le operazioni di prossimità. Lo scopo primario di questa tesi è di migliorare la robustezza e l'applicabilità di algoritmi di navigazione ottica tramite l'implementazione di fusione di misure provenienti da diverse bande spettrali, utilizzando una camera termica all'interno della catena di Guida, Navigazione e Controllo. Inoltre, la ricerca presentata si occupa di sviluppare innovative architetture di navigatione che combinano classici algoritmi di elaborazione di immagine con tecniche legate all'intelligenza artificiale. Vengono analizzati diversi scenari, concentrandosi sull'impatto della scelta dell'algoritmo di stima dello stato, oltre che alla sua robustezza e fattibilità di implementazione. Le due principali tecniche di fusione di dati multispettrali, i.e. fusione di immagine e fusione di alto livello, sono prima presentate e successivamente analizzate criticamente. Viene selezionato il miglior algoritmo per la fusione di immagine attraverso una serie di test su immagini generate sinteticamente, appartenenti agli spettri VIS e TIR. Un'innovativa soluzione di sensor handover viene presentata nel contesto di un'architettura di navigazione tightly-coupled per utilizzare la fusione di alto livello e per scartare in automatico una delle due bande spettrali quando non sta apportando informazioni significative. Questo approccio innovativo viene testato a confronto di un approccio classico basato su immagini VIS, dimostrando la sua efficacia sia in termini di robustezza che di accuratezza di stima della posa. Inoltre, la stessa catena di navigazione è testata su immagini fuse, valutando ancora i benefici apportati dalla fusione di dati multispettrali rispetto ad una strategia che coinvolge solamente una banda spettrale. Infine, i due approcci di fusione multispettrale sono paragonati fra di loro per deteminare l'architettura migliore per combinare le informazioni delle due bande spettrali distinte. Per quanto riguarda lo sviluppo di architetture di navigazione, viene introdotta un'innovativa architettura loosely-coupled che si basa sulla stima della posa prodotta da una CNN. In questo scenario, sono valutate le tecniche di filtraggio più adatte per complementare questo blocco funzionale di elaborazione di immagine, sia in termini di traslazione che rotazione relativa. Viene selezionato un filtro H∞ per la stima della posizione relativa e un IEKF per la stima dell'assetto relativo, che sono poi incorporati in una catena completa di Guida Navigazione e Controllo che si occupa di mappatura di oggetti non cooperativi. La catena è infine testata su scenari rilevanti, sottolineando i benefici delle tecniche di filtraggio proposte ai fini della mappatura. Sempre rimanendo nel contesto di mappatura di oggetti non cooperativi, viene proposta un'architettura di navigazione basata su un filtro assoluto duale per la stima della posizione relativa, che sfrutta la Line Of Sight (LOS) estratta da una camera VIS e una TIR. Questa tecnica di filtraggio viene integrata in un sistema di GNC, sottolineando le sue interazioni con gli altri blocchi funzionali della catena e le possibili modalità di errore. Sono presentate analisi critiche sia per operazioni nominali che anomalie, mostrando risultati promettenti in termini di accuratezza e robustezza della stima. Si può concludere che tutte le tecniche proposte e le scelte algoritmiche presentate nella tesi mostrano risultati incoraggianti, che rappresentano dei progressi significativi nel campo della navigazione ottica.