Machine learning techniques for detection and tracking of space objects in optical telescope images

Performing real time and robust space object detection by means of optical acquisitions is a challenging task in space surveillance, especially when the tracking involves uncatalogued objects. Conventionally, this engineering problem is addressed by means of traditional detection or segmentation, based on computer vision techniques, in order to identify the tracklets and extract their relative position with respect to the sensor position and attitude and the position of the stars in the field of view. Nevertheless, the high computational time required to perform this task represents the main limitation for real time applications. This thesis proposes two innovative tools based on machine learning techniques, respectively to detect and track the objects in real-time. The tracklet detection and localization tool was generated by training a Convolutional Neural Network (CNN) based on YOLOv5 architecture. The development of a machine learning system requires several steps, including dataset creation, pre-processing, training, and testing. To optimise network accuracy and execution time, the whole process was repeated for different datasets, based on synthetic and real telescope acquisitions, and for different combinations of the neural network hyper-parameters. The results obtained on the validation dataset showed an accuracy of 98% and a computational time of 0.5 seconds for the inference phase. Faster configurations were investigated as well, showing a limited degradation in terms of detection accuracy. However, the application of the method on a real-case scenario requires to consider the image pre-processing into the computational performance, showing that the end-to-end process requires about 7 seconds to be executed, being still suitable for real time applications as it is comparable to the characteristic time of a typical single telescope acquisition. The tracker estimates the object angular path with a linear regression performed on multiple detections in successive pictures. Therefore, by updating the telescope pointing angles with the predicted path, the number of target acquisitions is maximized, especially for uncatalogued space objects. Since trajectory estimation is based on bounding boxes, the network plays a crucial role in object identification because it must be as accurate as possible. In order to be a real-time software, this technique adopts a faster but less efficient image processing, followed by detection and finally a tracking script. The total time required by the tracker is about 1.5 seconds. The accuracy of this process is 91%, mainly because of time limitations for fast image processing. The algorithms are based on Python codes executed on a 2017 machine with an i7-7700HQ CPU, 16Gb of RAM and a GTX 1050 graphics card with 4Gb of VRAM. The results based on the proposed tools showed that the accuracy achieved by the detector network in identifying tracks could represent a valid alternative to traditional techniques, and conventional telescope survey, based on predefined path, can be replaced by more efficient approaches that include artificial intelligence, real-time object detection, and tracking. In particular, the tracker achieved promising results during simulations.

Eseguire in tempo reale e in modo robusto il rilevamento di oggetti spaziali per mezzo di acquisizioni ottiche è un compito impegnativo nella sorveglianza spaziale, soprattutto quando il tracciamento coinvolge oggetti non catalogati. Convenzionalmente, questo problema ingegneristico viene affrontato per mezzo del rilevamento tradizionale o della segmentazione, basata su tecniche di computer vision, al fine di identificare le tracklet ed estrarre la loro posizione relativa rispetto alla posizione del sensore e alla posizione delle stelle nel campo visivo. Tuttavia, l’alto tempo di calcolo richiesto per eseguire questo compito rappresenta la principale limitazione per le applicazioni in tempo reale. Questa tesi propone due strumenti innovativi basati su tecniche di apprendimento automatico, rispettivamente per rilevare e tracciare gli oggetti in tempo reale. Lo strumento di rilevamento e localizzazione di tracklet è stato generato addestrando una CNN (Convolutional Neural Network) basata sull’architettura YOLOv5. Lo sviluppo di un sistema di apprendimento automatico richiede diverse fasi, tra cui la creazione di dataset, la pre-elaborazione, l’addestramento, il test e la post-elaborazione. L’intero processo è stato ripetuto per diversi dataset, basati su acquisizioni sintetiche e reali del telescopio, e per diverse combinazioni di iper-parametri della rete neurale per ottimizzare l’accuratezza della rete e il tempo di esecuzione. I risultati ottenuti sul dataset di validazione hanno mostrato una precisione del 98% e un tempo di calcolo di 0, 5 secondi per la fase di rilevamento. Sono state studiate anche configurazioni più veloci, mostrando una degradazione limitata in termini di accuratezza di rilevamento. Tuttavia, l’applicazione del metodo su uno scenario reale richiede di considerare la pre-elaborazione dell’immagine nelle prestazioni di calcolo, mostrando che il processo end-to-end richiede circa 7 secondi per essere eseguito, essendo ancora adatto per applicazioni in tempo reale in quanto è paragonabile al tempo caratteristico di una tipica acquisizione con singolo telescopio. Il tracker stima il percorso angolare dell’oggetto con una regressione lineare eseguita su rilevazioni multiple di immagini successive. Pertanto, aggiornando gli angoli di puntamento del telescopio con il percorso previsto, il numero di acquisizioni del bersaglio è massimizzato, soprattutto per gli oggetti spaziali non catalogati. La rete svolge un ruolo cruciale nell’identificazione delle tracce dato che la stima della traiettoria dipende dalle bounding box, perciò, essa deve essere più accurata possibile. Per lavorare in tempo reale, questa tecnica adotta un’elaborazione dell’immagine più veloce ma meno efficiente, seguita dal rilevamento e infine da uno script di inseguimento. Il tempo totale richiesto dal tracker è di circa 1, 5 secondi. La precisione di questo processo è del 91%, principalmente a causa delle limitazioni di tempo per l’elaborazione veloce delle immagini. Gli algoritmi sono basati su codici Python eseguiti su una macchina del 2017 con una CPU i7-7700HQ, 16 Gb di RAM e una scheda grafica GTX 1050 con 4 Gb di VRAM. I risultati basati sugli algoritmi proposti hanno mostrato che l’accuratezza raggiunta dalla rete di detector nell’identificare le tracce potrebbe rappresentare una valida alternativa alle tecniche tradizionali, e il tracciamento convenzionale tramite telescopio, basato su una traiettoria predefinita, può essere sostituito da approcci più efficienti che includono l’intelligenza artificiale, il rilevamento di oggetti in tempo reale e il tracciamento. In particolare, il tracker ha ottenuto risultati promettenti durante le simulazioni.