Synthetic Thermal Image Generation Towards Enhanced Close-Proximity Navigation in Space

The new scenarios foreseen in forthcoming space missions have increased interests towards optical based relative navigation techniques, which have demonstrated efficacy in a variety of operational conditions. To this date, object and feature detectors have been tested primarily with visible images; however, optical sensors struggle in weak lighting conditions and are susceptible to over exposure. To cope with these challenges, thermal imaging systems have started being investigated in literature and their integration into current systems would greatly extend future mission capabilities. This thesis aims to fill the gap in the literature by evaluating the performance of State of The Art object detection algorithms in the Long-wave Infrared spectrum. Given the absence of readily available Thermal Infrared images captured from satellites, a rendering pipeline is proposed to generate physically accurate thermal images relevant to close-proximity scenarios. These synthetic images include a Target spacecraft with the Earth and deep-space as background, incorporating variations in illumination, material properties, relative state, and scale. To ensure realistic representations with rich physical content, a finite volume thermal model of the spacecraft is implemented, and the radiative field of the Earth is defined based on satellite measurements reported in the Clouds and Earth’s Radiant Energy System (CERES) database. Additionally, the model of the thermal sensor is integrated in the pipeline, and the fundamental disturbance sources are introduced to further enhance the fidelity of the output. Following the generation of a substantial data-set of noiseless and noisy images, traditional object detection algorithms are exploited to detect the Region Of Interest, to uncover their limitations both in terms of detection accuracy and computational time for various orbital scenarios. In close-proximity environments, classical landmark extraction methodologies are implemented and compared, and their performance is computed by matching the predicted and ground truth keypoints with Nearest Neighbour Search. While these preliminary results are promising, better performance would be needed in real-world applications, and could possibly be obtained by applying machine learning strategies.

I nuovi scenari nell'ambito di missioni spaziali hanno rafforzato l'interesse verso tecniche di navigazione relativa basate su sistemi ottici, che hanno già dimostrato la loro efficacia in diverse condizioni operative. Ad oggi, i metodi di identificazione di oggetti sono stati principalmente testati con immagini visibili; tuttavia, i sensori ottici sono limitati da condizioni di scarsa illuminazione e sono suscettibili a sovraesposizioni. Per superare queste limitazioni, le camere termiche stanno emergendo come argomento di studio nella letteratura, dimostrando come la loro integrazione a bordo di sistemi spaziali possa estendere il potenziale di future missioni. Questa tesi mira a colmare il vuoto nella letteratura valutando le prestazioni di algoritmi di rilevamento di oggetti all'avanguardia nello spettro termico. Data l'assenza di immagini termiche catturate da satelliti, si propone una sequenza di rendering per generare immagini termiche sintetiche fisicamente accurate e pertinenti a scenari di navigazione relativa. Queste immagini includono un veicolo spaziale con la Terra e lo spazio profondo come sfondo, incorporando variazioni nell'illuminazione, nelle proprietà dei materiali, nello stato relativo e nella scala. Per garantire rappresentazioni realistiche con sufficiente contenuto fisico, viene implementato un modello termico a volumi finiti del satellite, e il campo radiativo della Terra è definito sulla base di misurazioni satellitari riportate nel database Clouds and Earth’s Radiant Energy System (CERES). Inoltre, il modello di sensore termico è incluso nella sequenza operativa, insieme alle diverse fonti di rumore, al fine di migliorare la fedeltà del risultato. Dopo la generazione di un ampio data-set di immagini rumorose, si utilizzano algoritmi tradizionali di identificazione di oggetti per ricavare la Regione di Interesse, valutandone i limiti, sia in termini di accuratezza di rilevamento che di tempo computazionale, nei diversi scenari orbitali. In condizioni di prossimità, vengono implementati e confrontati metodi classici per l'estrazione di punti salienti, le cui performance si basano sull'accoppiamento tra le predizioni e le verità di terra ottenuto con una Ricerca del Punto più Vicino. Sebbene i risultati appaiano promettenti, performance superiori risultano necessarie per applicazioni reali, ottenibili mediante l'uso di algoritmi di machine learning.