Machine Learning Techniques for Space Objects Detection in Space-Based Optical Images

With the continuous expansion of human space exploration, the proliferation of space debris has reached unprecedented levels, substantially elevating the risk of collisions in space. Effectively addressing this critical challenge necessitates the development of advanced space target surveillance and detection technologies. Traditional computer vision approaches have been utilized for object detection; however, their computational demand often limits real-time applications. In recent years, significant progress has been made in ground-based space debris detection, primarily driven by the integration of Convolutional Neural Networks. Nonetheless, there is a pressing requirement to redirect focus towards space-based approaches to overcome the limitations that terrestrial methods inherently possess. This shift offers distinct benefits, including heightened sensitivity and the capability to spot objects at greater altitudes, a realm where ground-based systems encounter limitations. This study presents an innovative real-time object detection tool designed for space-based applications, harnessing the capabilities of machine learning techniques. One of the primary challenges in AI training is the scarcity of labeled datasets for precise Resident Space Object (RSO) detection, especially in the context of space-based observations. To tackle this challenge, a synthetic '.fits' image generator has been implemented, following photon mapping techniques. The generator produces two types of images. In one instance, it considers the sensor's pointing, which follows the satellite's attitude (survey pointing). In the other scenario, the sensor's pointing is considered fixed. Additionally, to accommodate YOLOv8, which cannot directly use '.fits' images, a converter from '.fits' to '.png' has been implemented. During the conversion process, this tool enhances the visibility of debris and also enables, for survey pointing images, the generation of rotated and cropped images, by leveraging the sensor's attitude information. The tool harnesses the power of a Convolutional Neural Network (CNN) trained on the cutting-edge YOLOv8 architecture, known for its superior performance. The development process encompasses dataset creation, pre-processing, training, and testing. The training process is conducted multiple times, resulting in the creation of different neural network weights. This procedure involves utilizing distinct datasets comprised of synthetic acquisitions. The training is performed separately for: fixed pointing images, survey pointing images, and rotated and cropped survey pointing images. The primary innovation of this tool lies in its capacity for real-time performance, coupled with enhanced precision in space-based debris detection. These applications are less susceptible to environmental noise and offer various advantages over ground-based alternatives. Following its training on synthetic images; the subsequent testing phase is conducted also using semi-synthetic images, which incorporate noise from an actual space-based image. The neural network consistently showcased remarkable performance with fixed pointing images, achieving Precision and Recall scores of 0.997 and 0.98, respectively, when handling semi-synthetic images. Interestingly, within the survey pointing scenario, an intriguing trend emerges. Indeed, the neural network excels with rotated and cropped images, attaining Precision and Recall scores of 0.971 and 0.965, respectively, when dealing with semi-synthetic images. By taking this significant stride, this research wants to contribute to mitigating space collisions and advancing the understanding of machine learning's potential in space debris detection.

Con la crescita continua dell'esplorazione spaziale umana, la proliferazione di detriti spaziali ha raggiunto livelli senza precedenti, aumentando notevolmente il rischio di collisioni nello spazio. Affrontare efficacemente questa sfida richiede lo sviluppo di tecnologie avanzate di sorveglianza e rilevamento di target spaziali. Approcci tradizionali di computer vision sono stati utilizzati in passato per il rilevamento di oggetti; tuttavia, le loro esigenze computazionali spesso limitano le applicazioni in tempo reale. Negli ultimi anni, sono stati raggiunti notevoli progressi nella rilevazione di detriti spaziali utilizzando applicazioni da terra, principalmente guidati dall'integrazione di Reti Neurali Convoluzionali. Tuttavia, c'è una pressante necessità di riportare l'attenzione verso approcci basati su applicazioni dallo spazio per superare le limitazioni intrinseche dei metodi terrestri. Questa transizione offre diversi vantaggi, tra cui una maggiore sensibilità e la capacità di individuare oggetti ad altitudini maggiori, zone in cui i sistemi terrestri incontrano limitazioni. Questo studio presenta un innovativo strumento di rilevamento in tempo reale di oggetti, progettato per applicazioni spaziali, sfruttando le capacità delle tecniche di apprendimento automatico. Una delle sfide principali nell'addestramento dell'intelligenza artificiale consiste nella scarsità di set di dati etichettati per il rilevamento dei Resident Space Objects (RSOs), specialmente nel contesto di osservazioni dallo spazio. Per affrontare questa sfida, è stato implementato un generatore di immagini '.fits' sintetiche, che segue le tecniche di mappatura dei fotoni. Il generatore produce due tipi di immagini, nel primo caso viene considerato il puntamento del sensore allineato con l'assetto del satellite (puntamento survey), nel secondo caso, il puntamento viene considerato fisso. Inoltre, per adattarsi alla richieste di YOLOv8, il quale non può utilizzare direttamente immagini '.fits', viene implementato un convertitore che permette di passare da immagini '.fits' a immagini '.png'. Durante il processo di conversione, questo strumento migliora la visibilità dei detriti e consente, unicamente per immagini di puntamento survey, anche la generazione di immagini ruotate e ritagliate, sfruttando le informazioni riguardanti l'assetto del sensore. Lo strumento sfrutta la potenza di una Rete Neurale Convoluzionale (CNN) addestrata sull'architettura di YOLOv8, nota per le sue prestazioni superiori. Il processo di sviluppo comprende la creazione del set di dati, la pre-elaborazione, l'addestramento e i test. L'addestramento viene eseguito diverse volte, generando pesi diversi. Questa procedura coinvolge l'utilizzo di set di dati distinti, composti da immagini sintetiche, perciò, è eseguito separatamente per: immagini con puntamento fisso, immagini con puntamento survey e immagini con puntamento survey ruotate e ritagliate. L'innovazione principale di questo strumento di rilevamento risiede nella sua capacità di prestazioni in tempo reale, combinate con una maggiore precisione nella rilevazione dei detriti spaziali dallo spazio. Queste applicazioni sono meno suscettibili al rumore ambientale e offrono vari vantaggi rispetto alle alternative da terra. Dopo l'addestramento su immagini sintetiche; il successivo test viene effettuato anche su immagini semi-sintetiche, che includono il rumore proveniente da un'immagine catturata da un reale sensore orbitante. La rete neurale ha dimostrato ottime prestazioni con immagini con puntamento fisso, raggiungendo punteggi di Precisione e Sensibilità dello 0.997 e dello 0.98, considerando immagini semi-sintetiche. Nel caso di puntamento survey, emerge una tendenza interessante. Infatti, la rete neurale eccelle con immagini ruotate e ritagliate, raggiungendo punteggi di Precisione e Sensibilità dello 0.971 e dello 0.965, considerando sempre immagini semi-sintetiche. Con questo significativo passo avanti, questa ricerca intende contribuire a mitigare le collisioni spaziali e a facilitare la comprensione del potenziale dell'apprendimento automatico nel rilevamento di detriti spaziali.