Ground-based image generator for detection and tracking of space objects with machine learning techniques

In recent decades, the increase in space activities has led to the creation of tons of hazardous debris orbiting the Earth. The geostationary (GEO) and Low Earth Orbit (LEO) regimes are now overcrowded with these objects, compromising the safety of operational satellites and future space missions. This issue has brought the topic of Space Surveillance and Tracking (SST) to the forefront. SST is focused on the detection, monitoring, and tracking of objects orbiting the Earth, with the goal of keeping them under control and avoiding collisions. In recent years, to enhance performance in detecting space debris from optical telescopes, traditional computer vision techniques have been progressively supplemented and sometimes replaced by machine learning methods. Specifically, Convolutional Neural Networks (CNNs) have been employed to spot and track objects in real-time. This work falls within the scope of SST. It aims to develop a synthetic image generator for ground-based telescope acquisitions of space-transiting objects, addressing the challenge posed by having a scarce database of real images. To train YOLOv8—a CNN-based object detection model used for identifying tracklets in the telescope’s field of view—thousands of diverse observations are typically needed for reliable deployment. A synthetic simulator overcomes this limitation by generating unlimited images, allowing flexible adjustments to the sensor’s position, environmental conditions, and other parameters, thereby significantly enhancing the system’s versatility. To evaluate its effectiveness, the software tool is tested against a set of shots taken by the telescope at the Air Force base in Pratica di Mare (PdM-MITE), choosing Cosmo SkyMed 4 as a reference satellite for observation campaigns. The comparison confirmed that the produced images align well with the real ones in terms of fidelity in the satellite position and overall background resemblance. The thesis then shifts to the creation of a dataset of synthetic images initially outputted in '.fits' format using photon mapping techniques and processed to closely mimic real telescope functioning by adding characteristic noise. They are successively converted to '.png' format to train and test the YOLOv8 model, which detects tracks within the images. The analysis results are used to predict the positions of trails in subsequent frames, allowing for updates to the telescope’s position as objects move out of the field of view. To achieve these results, the neural network is trained and tested multiple times using different initial weights until adequate performance is reached. The work is conducted on a PC featuring an 11th generation Intel® Core™ i7-11370H processor, 16 GB of RAM, and an NVIDIA GeForce RTX 3050 graphics card with 4 GB of VRAM.

Negli ultimi decenni, l'aumento delle attività spaziali ha portato alla creazione di tonnellate di detriti pericolosi che orbitano attorno alla Terra. I regimi orbitali geostazionari (GEO) e quelli a bassa altitudine (LEO) risultano ormai sovraffollati da questi oggetti che mettono a rischio la sicurezza dei satelliti operativi e delle future missioni spaziali. Questa problematica ha condotto in primo piano il tema della Space Surveillance and Tracking (SST), che si occupa di individuare, monitorare e tracciare gli oggetti in orbita attorno alla Terra, con l'obiettivo di mantenerli sotto controllo ed evitare collisioni. Negli ultimi anni, per migliorare le prestazioni nella rilevazione dei detriti spaziali tramite telescopi ottici, le tradizionali tecniche di computer vision sono state progressivamente affiancate e talvolta sostituite da tecniche di apprendimento automatico. In particolare, le Reti Neurali Convoluzionali (CNN) sono state utilizzate per rilevare e tracciare gli oggetti in tempo reale. Questo lavoro si inserisce nell'ambito della SST. L' obiettivo è quello di sviluppare un generatore di immagini sintetiche per l' acquisizione di oggetti spaziali tramite telescopi ottici dislocati sulla superficie terrestre, per affrontare la difficoltà posta dall' avere un database limitato di immagini reali. Per addestrare YOLOv8-un modello per la rilevazione di oggetti basato sulla rete neurale convoluzionale che viene utilizzato per individuare la presenza di tracce all' interno del telescopio-e ottenere risultati soddisfacenti, in genere sono necessarie migliaia di immagini ottenute tramite diverse osservazioni. Un generatore artificiale supera questa problematica in quanto permette di ottenere un numero illimitato di immagini, e consente un aggiustamento flessibile della posizione del sensore, delle condizioni dell' ambiente esterno, e di altri parameteri, e, dunque, un aumento significativo della versatilità del sistema. Per valutare l'efficacia del programma, sono state utilizzate come riferimento immagini acquisite dal telescopio che si trova presso la base dell'Aeronautica Militare a Pratica di Mare (PdM-MITE), prendendo Cosmo SkyMed 4 come satellite di riferimento per la campagnia di osservazione. Il confronto ha confermato che le immagini ottenute sono ben allineate con quelle reali sia dal punto di vista della posizione del satellite sia in merito alla somiglianza del background. All interno della tesi, viene poi creato un dataset di immagini sintetiche, generate in formato '.fits' tramite tecniche di mappatura dei fotoni ed elaborate aggiungendo i rumori caratteristici delle immagini reali. Successivamente, queste vengono convertite in formato '.png' per allenare e testare il modello YOLOv8, il quale rileva la presenza di tracce all' interno dell' immagine. I risultati sono usati per predirre la posizione dell' oggetto in istanti di tempo consecutivi, così da poter aggiornare la posizione del telescopio nel momento in cui la traccia esce da campo di vista. La rete neurale è stata addestrata e testata diverse volte utilizzando pesi iniziali differenti, fino al raggiungimento di performance ritenute adeguate. Il lavoro è stato svolto utilizzando un PC dotato di processore Intel® Core™ i7-11370H di undicesima generazione, 16 GB di RAM e una scheda grafica NVIDIA GeForce RTX 3050 con 4 GB di VRAM.