VIS-TIR images processing tool towards autonomous proximity operations in space

This thesis proposes a novel approach to improve the vision-based relative navigation systems leading to an effective and robust approach to cope with operating in the proximity of artificial non-cooperative orbiting objects. The proposed approach's novelty stays in exploiting the multispectral fusion of visible (VIS) and thermal infrared (TIR) images. Indeed, solutions related to VIS cameras strongly depend on illumination conditions, which constrain operations planning since it may lead to limited opportunities to properly detect and track the target itself with unacceptable either mission length or risk increase. To get rid of the illumination constraints, the document proposes to fuse TIR images, insensitive to lighting conditions, into VIS ones, to produce more informative and robust image data. The lack of datasets for VIS and TIR images acquired on orbit under proximity manoeuvring scenarios drove towards an in-house developed simulator based on the open-source Blender software. In particular, the target object TIR synthetic images are obtained by first computing its temperature distribution from its thermophysical properties and flux sources, to then convert it into the equivalent radiative flux that a typical thermal-infrared camera would capture. To simulate such a behaviour, the radiative flux is mapped accordingly with an emitter model and the same rendering engine is used to convert the radiance field into its equivalent gray values. The target orbit is propagated to simulate accurate illumination conditions, while the camera poses are determined through the use of a quasi-nonsingular Relative Orbital Elements (ROE) model. The TIR-VIS image fusion can be then solved by considering a selection of pixel-level fusion methods; however, these would require source images to be strictly geometrically aligned to efficiently operate. Those requirements are not usually met by state-of-art VIS-TIR cameras, differing in Field of View (FOV), resolution and being mounted in different positions and orientations on board. The latter is tackled as an image registration problem exploiting the relative parameter of the two cameras to derive an analytic formulation. Results of the image fusion methods are finally analysed both quantitatively and qualitatively in the cases of perfectly aligned images and after the registration process.

Questa tesi propone un approccio innovativo per migliorare i sistemi di navigazione relativa ottica, mirata ad operazioni in prossimità di oggetti artificiali orbitanti non cooperativi. La novità dell'approccio proposto consiste nello sfruttare la fusione di immagini visibili (VIS) e infrarosse (TIR). Infatti, le soluzioni relative a camere VIS dipendono fortemente dalle condizioni di illuminazione, che limitano la pianificazione delle operazioni in quanto possono limitare le opportunità di rilevare e seguire correttamente il bersaglio stesso, con un aumento inaccettabile della durata della missione o del livello di rischio. Per eliminare tali vincoli, il documento propone di integrare le immagini TIR, insensibili alle condizioni d'illuminazione, in quelle VIS, per produrre immagini più informative e robuste. La mancanza di datasets per immagini VIS e TIR acquisite in orbita ha spinto a sviluppare un simulatore interno basato sul software open-source Blender. In particolare, le immagini sintetiche TIR dell'oggetto in analisi sono ottenute calcolando prima la sua distribuzione di temperatura, per poi convertirla nel flusso radiativo equivalente che una tipica telecamera termica-infrarossa catturerebbe. Per simulare tale comportamento, il flusso radiativo viene mappato di conseguenza con un modello di emettitore per poi convertire il campo di radianza nei suoi valori digitali equivalenti con il motore di rendering. L'orbita del satellite viene propagata per simulare condizioni di illuminazione accurate, mentre le posizioni della camera sono determinate attraverso l'uso di un modello di elementi orbitali relativi (ROE). La fusione delle immagini TIR-VIS è poi eseguita considerando una selezione di metodi di fusione pixel-per-pixel; tuttavia, questi richiedono che le immagini sorgente siano rigorosamente allineate per funzionare efficacemente. Questi requisiti non sono solitamente soddisfatti da telecamere VIS-TIR, che differiscono per campo visivo (FOV), risoluzione ed essendo montate in posizioni e orientamenti diversi. Quest'ultimo tema viene affrontato come un problema di registrazione delle immagini, sfruttando i parametri relativi delle due camere per ricavare una formulazione analitica. I risultati dei metodi di fusione vengono infine analizzati sia quantitativamente che qualitativamente nel caso di immagini perfettamente allineate e dopo il processo di registrazione.