Machine learning techniques for optical and multibeam radar track reconstruction of LEO objects

One of the most demanding tasks in surveying LEO (Low Earth Orbit) space objects is track reconstruction. The tools usually adopted to tackle this problem are based on optical and multibeam radar data acquisition campaigns. The involved instruments are configured to work mainly in two modes: staring and tracking. The recorded data are then processed accordingly, by means of complex and heavy deterministic techniques. Due to objects high angular rates in this particular regime, optical sensors need real time image processing to quickly perform follow-up observations and acquire further images in the visibility window. This is instrumental to performing sufficiently accurate initial orbit determination that allows to schedule additional measurements with other sensors. Nowadays, the state of the art for the tracklet extraction is mostly associated with segmentation techniques characterized by a processing time not suitable for quick sensor tasking. As for multibeam surveillance radars the main challenge resides in the measurements acquisition itself. Firstly, the antenna array grid, usually allowing to trace the target in the radar FoV during a transit, can generate ambiguities caused by the sequential illumination of both main and grating lobes forming its gain pattern. Consequently, the pointing of the illuminated beams is often not consistent with the object angular position. Secondly, while the required information to perform a trace estimation are SNR (Signal to Noise Ratio), slant range and Doppler shift, not all of them are always available, making the trace extraction more difficult. The purpose of this thesis work is to solve both optical and radar related issues through a Machine Learning based approach, in order to reduce on the one hand the elaboration time in the optical case, on the other to minimize the necessary inputs and to provide a possible means of disambiguation in the radar one. As in all the other Machine Learning applications, a series of steps is required to obtain a working system: dataset creation, pre-processing, training, testing and post-processing. The dataset creation and pre-processing are needed to properly prepare the training, while post- processing is applied to refine the output of the trained network. The proposed approach for the optical case is applied to a telescope in staring mode. It is based on U-Net: a deep neural network belonging to the CNN family, aimed at object segmentation. In order to succeed in the learning process, a sufficiently vast dataset composed by a set of images coupled with a label is needed. In this case labels represent the desired output of the network and are bicolor masks where black is the background and white is the tracklet. In order to be general, 250 realistic synthetic images and labels have been generated. Subsequently, images are rescaled (to speed up training) and normalized. The learning phase is the most time consuming as the weights of the different layers are tuned to reduce a defined loss function, while the testing (and therefore operations) is much faster since it is a simple function evaluation. The trained network is tested against a set of 110 scaled synthetic and 80 real images. Images are filtered to reduce vignetting and to level out the background brightness, down-converted to 8 bit and normalized. The post-processing step performs a centroid identification and estimates the object right ascension and declination by knowing the passage ephemeral time and the observation pointing. As regards the radar application, the method consists in a Multi-Layer Perceptron model applied to a bistatic radar telescope configuration in staring mode. The employed dataset counts about 900 simulated LEO passages, considering the BIRALES sensor, composed of a transmitter located in Sardinia and a 32 beams receiver in Medicina (Bologna, Italy). Once SNR, slant range and Doppler shift are sampled, they are stored and labeled with the corresponding angular position of the object. Data are normalized and organized in two randomly sorted pools (used to pick training and testing set independently). Four network architectures are implemented and compared: Net_0 has SNR as its only input, Net_1 takes SNR and Doppler shift, while Net_2 is upgraded with slant range information and refined with a further non-linear least square block. A different method of random data generation, is employed with Net_random (using SNR and slant range as entry data). The training is performed considering input coming from all the training set together, while testing considers one passage at a time. The results are promising, since the achieved accuracy is suitable to generate first guesses for a following orbital assessment in both applications. In particular, in the optical implementation the average processing time per image is less than 4 s (running the Python code on a 2014 machine with an i7-4710HQ and 16 Gb of RAM) and bright trails are easily recognized with a mean centroid angular error of 0.25 deg in 75 % of test cases. The radar approach scores an R2 regression parameter (referred to a single passage) of 99.56% average in the best case scenario with Net_2 and an associated mean error of 0.03 deg in 75 % of test cases.

Uno dei compiti più difficili nell’attività di sorveglianza spaziale di oggetti LEO sta nella ricostruzione della traccia. Gli strumenti impiegati di solito per affrontare questo problema sono basati su campagne di acquisizione di dati ottici e radar multibeam. I sensori coinvolti in tale applicazione sono predisposti ad operare principalmente in due modalità: staring e tracking. I dati raccolti sono successivamente processati opportunamente, per mezzo di complessi e macchinosi approcci deterministici. A causa dell’elevata velocità angolare degli oggetti in tale regime orbitale, è necessario per i sensori ottici un processamento in tempo reale delle immagini al fine eseguire in modo rapido, campagne d’inseguimento e acquisire ulteriori immagini nella finestra di visibilità. Questo è funzionale a svolgere un’accurata prima stima orbitale che permette di pianificare misure addizionali con altri sensori. Oggigiorno, lo stato dell’arte per l’estrazione della traccia è principalmente associata a tecniche di segmentazione caratterizzate da un tempo di elaborazione non adatto a un veloce inseguimento fatto dal sensore. Per quanto riguarda i radar multibeam per la sorveglianza spaziale la sfida principale risiede nella acquisizione stessa delle misurazioni. In primo luogo, la griglia di antenne, che di solito permette di tracciare, durante un transito, il target nel FoV, può generare ambiguità causate dall’illuminazione sequenziale dei lobi principali e secondari che formano il pattern di guadagno. Di conseguenza, il puntamento dei fasci illuminati non è spesso coerente con la posizione angolare dell’oggetto. In secondo luogo, considerato che le informazioni richieste per effettuare la stima della traccia sono SNR (rapporto tra segnale e rumore), slant range ed effetto Doppler, esse risultano non sempre tutte disponibili, rendendo l’estrazione della traccia più ardua. Lo scopo di questa tesi è di risolvere sia le problematiche associate all’ ottico che quelle riguardanti il radar per mezzo di approcci basati sull’Intelligenza Artificiale, al fine da una parte di ridurre il tempo di elaborazione del primo, dall’altra di minimizzare il numero di input necessari e fornire un possibile mezzo di disambiguazione. Come in tutte le applicazioni di Intelligenza Artificiale, si richiede una serie di step per ottenere un sistema funzionante: creazione di un dataset, pre-elaborazione, allenamento, test e post-produzione. Le fasi di creazione dei dati e di pre-elaborazione servono per preparare correttamente la fase di allenamento, mentre quella di post-processing è applicata per rifinire l’output della rete neurale. Il metodo proposto per il caso ottico è applicato a un telescopio che funziona in modalità staring. Esso è basato su U-Net: una rete neurale profonda che appartiene alla famiglia delle Reti Neurali Convoluzionali, finalizzata alla segmentazione di oggetti. Al fine di ottenere un processo di addestramento efficace, è necessario un set sufficientemente vasto, composto da un insieme di immagini accoppiate ad un’etichetta. In questo caso le etichette rappresentano l’uscita desiderata dalla rete e consistono in delle maschere bicolore dove il nero è lo sfondo ed il bianco è la traccia. Per generalizzare meglio, sono state generate 250 immagini sintetiche e relative etichette. Successivamente, le foto sono state riscalate (per velocizzare il training) e normalizzate. La fase di allenamento è la più dispendiosa dal punto vista del tempo, in quanto i pesi dei differenti strati sono regolati per ridurre una definita funzione di costo, mentre il test (e quindi le operazioni) sono molto più veloci, poiché questa fase consiste in una semplice valutazione di funzione. La rete allenata è testata con un set di 110 immagini sintetiche e 80 immagini reali. Le immagini sono filtrate per ridurre l’effetto di vignettatura e uniformare la luminosità dello sfondo, convertite a 8 bit e normalizzate. Lo step di post-produzione esegue l’identificazione del centroide, la stima dell’ascensione retta e declinazione dell’oggetto, conoscendo il tempo delle effemeridi ed il puntamento dell’osservazione. Per quanto riguarda l’applicazione radar, il metodo consiste in un modello Percettrone a più strati applicato ad un telescopio radar bistatico in modalità staring. Il set utilizzato conta circa 900 passaggi simulati LEO, considerando il sensore BIRALES, composto da un trasmettitore localizzato in Sardegna ed un ricevitori a 32 beam a Medicina (Bologna, Italia). Dopo aver campionato SNR, slant range ed effetto Doppler, essi vengono memorizzati ed etichettati con la corrispondente posizione angolare dell’oggetto. I dati sono normalizzati e organizzati in due gruppi, ordinati in modo casuale (in modo da avere il training ed il test set indipendenti). Sono implementate e comparate 4 differenti architetture : Net_0 sfrutta unicamente l’SNR come dato di input, Net_1 prende in ingresso anche l’effetto Doppler, Net_2 viene migliorata con l’informazione dello slant range e Net_random utilizza SNR e slant range di un differente set di dati, generati randomicamente. Queste ultime due vengono successivamente rifinite tramite il metodo dei minimi quadrati. L’allenamento viene effettuato considerando l’input proveniente tutto l’insieme del training set, mentre il test considera un passaggio alla volta. I risultati sono promettenti, in quanto l’accuratezza è adatta a generare una successiva prima stima orbitale in entrambe le applicazioni. In particolare, nell’implementazione ottica il tempo medio di processamento per immagine è meno di 4 s (eseguendo il codice Python su una macchina del 2014 con un i7410 HQ e 16 Gb di RAM) e le scie più luminose sono riconosciute con un errore medio del centroide di 0.25 deg nel 75 % dei casi in fase di test. L’approccio radar restituisce un parametro di regressione R2 (riferito al singolo passaggio) del 99.56 % in media nel migliore dei casi con Net_2 e un corrispondente errore medio di 0.03 deg nel 75% dei casi di test.