Development & Implementation of Spacecraft - Detection, Segmentation and Distance Estimation Network using Computer Vision Techniques

The aim of this thesis work is to train a deep-learning neural network that can detect, segment, and estimate the relative distance of uncooperative spacecraft and present the performance estimation of the pipeline on Raspberry Pi-4 Model B for the reliability of the algorithm on low-grade hardware. The architecture of the proposed pipeline consists of a Spacecraft Detection Network(SDN), a Space craft Segmentation Network(SSN), and a Distance Estimation Network(DEN) The work depends on a Deep Neural Network, particularly a Convolutional Neural Network model. You Only Look Once(YOLO) is a family of real-time object detection algorithms in the field of computer vision. The YOLOv8 was used for the detection and segmentation of uncooperative spacecraft, for the relative distance estimation from the camera to the uncooperative spacecraft the model depends on calculating the focal length using the triangular similarity and then extracting the distance using OpenCV -Python. In this scenario the uncooperative spacecraft is considered to be Tango Spacecraft and the dataset containing the images was available openly. SPEED+ Next-Generation Dataset for Spacecraft Pose Estimation is composed of images of the Tango spacecraft from the PRISMA mission. SPEED+ is composed of three distinct regions of images from two independent sources. It consists of three different categories of images namely Synthetic, Sunlamp, and Lightbox images The dataset containing images is annotated and assigned classes of Tango Space craft, Antennas, Solar Panel, and Bottom structure for detection, segmentation task, and only Tango spacecraft class for distance estimation. As mentioned above SDN and SSN are trained using the YOLOv8 using the Google Clab GPU with some images that were pooled together from those three categories of the SPEED+ dataset using two different models of YOLOv8. Distance estimator uses a detector YOLOv4-tiny for object detection, which is trained on 3000 images of Tango spacecraft. All these three networks are tested on local computer and also on Raspberry Pi 4 Model B. The behavior systems and the performance of the pipeline are presented in the work

L’obiettivo di questo lavoro di tesi è addestrare una rete neurale di apprendi mento profondo che possa rilevare, segmentare e stimare la distanza relativa di un satellite non cooperativo e presentare la stima delle prestazioni del flusso di lavoro su Raspberry Pi-4 Model B per la affidabilità dell’algoritmo su hardware di bassa qualità. L’architettura della pipeline proposta è composta da una pace craft Detection Network(SDN), Spacecraft Segmentation Network(SSN),Distance Estimation Network(DEN). Il lavoro si basa su una Rete Neurale Profonda, in particolare su un modello di Rete Neurale Convoluzionale. You Only Look Once (YOLO) è una famiglia di algoritmi di rilevamento oggetti in tempo reale nel campo della computer vision. Il lavoro si affida a YOLOv8 per la rilevazione e la segmentazione di satelliti non cooperativi e per la stima della distanza relativa dalla telecamera al satellite non cooperativo, il modello si basa sul calcolo della lunghezza focale utilizzando la somiglianza triangolare e poi sull’estrazione della distanza utilizzando OpenCV Python. In questo scenario, il satellite non cooperativo è considerato essere il satellite Tango e il dataset contenente le immagini era disponibile pubblicamente. SPEED+ Next-Generation Dataset for Spacecraft Pose Estimation è composto da immagini del satellite Tango dalla missione PRISMA. SPEED+ è composto da tre regioni distinte di immagini provenienti da due fonti indipendenti. È composto da tre categorie di immagini diverse, ossia immagini sintetiche, immagini Sun lamp e immagini Lightbox. Il dataset contenente le immagini è annotato e assegnato alle classi di Satellite Tango, Antenne, Pannello Solare e Struttura Inferiore per il compito di rileva mento, segmentazione e per il satellite Tango per la stima della distanza. Come già accennato, SDN e SSN sono addestrati utilizzando YOLOv8 utilizzando le GPU di Google Colab, con immagini che sono state raggruppate insieme da quelle tre categorie del dataset SPEED+. L’estimatore di distanza utilizza un rilevatore yolov4 tiny per la rilevazione di oggetti, che è addestrato su 3000 immagini del satellite Tango. Tutti e tre questi network sono testati su un com puter locale e anche su Raspberry Pi 4 Model B. Il comportamento del sistema e le prestazioni della pipeline sono presentati nel lavoro.