Comparison of satellite federated learning algorithms under data poisoning attacks

Nowadays, many low Earth orbit (LEO) satellites, flying between 500 and 2000 km above the Earth, capture large amounts of high-resolution images used in machine learning for disaster prevention, environmental monitoring, and urban planning. However, downloading all high-resolution images and training these machine learning models on the ground is often infeasible due to limited downlink bandwidth, sparse connectivity, and constraints on image resolution.To solve these problems, Federated Learning (FL) has also started to be used in the satellite context. FL is a distributed machine learning paradigm in which clients train a model using their private datasets and only send model parameters to a parameter server. The server aggregates the received parameters to obtain a global model, and this procedure is iterated over multiple rounds, In the literature, many studies have developed their own algorithms to apply Federated Learning in the satellite context; however, their focus is generally not on security. In this thesis, our goal is to evaluate different algorithms under data poisoning attacks to identify which are more vulnerable, and to determine whether the least vulnerable algorithms are also acceptable in terms of energy consumption and execution time. To achieve this, we simulated a satellite constellation, extracted the visibility patterns to the ground station, and implemented three different algorithms. On top of these, we evaluated the algorithms under data poisoning attacks. We then calculated the transmission time and energy consumption for both satellite-to-satellite and satellite-to-ground-station links, as well as the total time required to complete the federated learning process for each algorithm. Our results show that the algorithm least vulnerable to data poisoning attacks requires significantly more days to achieve convergence. In contrast, the other two algorithms are more vulnerable under attack and exhibit considerable fluctuations in the metrics of the final global model. These results highlight the importance of developing mitigation strategies to secure Federated Learning in the satellite context.

Al giorno d’oggi, molti satelliti in orbita terrestre bassa (LEO), tra i 500 e i 2000 km sopra la Terra, acquisiscono grandi quantità di immagini ad alta risoluzione utilizzate nel Machine Learning per la prevenzione dei disastri, il monitoraggio ambientale e la pianificazione urbana. Tuttavia, scaricare tutte le immagini ad alta risoluzione e addestrare questi modelli di machine learning a terra è spesso irrealizzabile a causa della larghezza di banda limitata per il downlink, della connettività scarsa e dei vincoli sulla risoluzione delle immagini. Per risolvere questi problemi, è stato introdotto il Federated Learning (FL) anche nel contesto satellitare. Il FL è un paradigma di machine learning distribuito in cui i client addestrano un modello utilizzando i propri dataset privati e inviano solo i parametri del modello a un server. Il server aggrega i parametri ricevuti per ottenere un modello globale, e questa procedura viene iterata per più round. In letteratura, molti studi hanno sviluppato algoritmi propri per applicare il Federated Learning nel contesto satellitare; tuttavia, il loro focus non riguarda la sicurezza. In questa tesi, il nostro obiettivo è valutare diversi algoritmi con attacchi di data poisoning per identificare quali siano più vulnerabili e determinare se gli algoritmi meno vulnerabili siano anche accettabili in termini di consumo energetico e tempo di esecuzione. Per raggiungere questo obiettivo, abbiamo simulato una costellazione satellitare, estratto i pattern di visibilità dei satelliti rispetto alla stazione terrestre e implementato tre algoritmi differenti. In seguito , abbiamo valutato gli algoritmi sotto attacchi di data poisoning. Successivamente, abbiamo calcolato il tempo di trasmissione e il consumo energetico sia per i collegamenti satellite-satellite sia per i collegamenti satellite-stazione terrestre, così come il tempo totale necessario per completare il processo di federated learning per ciascun algoritmo. I nostri risultati mostrano che l’algoritmo meno vulnerabile agli attacchi di data poisoning richiede un numero significativamente maggiore di giorni per raggiungere la convergenza. Al contrario, gli altri due algoritmi risultano più vulnerabili agli attacchi e mostrano considerevoli fluttuazioni nelle metriche del modello globale finale. Questi risultati evidenziano l’importanza di sviluppare strategie di mitigazione per garantire la sicurezza del Federated Learning nel contesto satellitare.