Xplain: leveraging explainability to defend federated learning against active attacks

Federated Learning (FL) has emerged as a promising paradigm for decentralized Machine Learning (ML), enabling the training of models on data distributed across various nodes while preserving privacy. This innovative approach facilitates collaborative training of a global model without centralizing sensitive data. However, despite its advantages, FL remains susceptible to various adversarial attacks that can undermine its effectiveness and reliability. While defenses have been proposed to mitigate these vulnerabilities, most have strict requirements and limitations. Indeed, they are often tailored to Neural Networks (NNs), lack generalizability to other models, require custom aggregation methods to ensure robustness, and are constrained by the assumption of an upper limit on the number of malicious clients. This thesis introduces Xplain, a novel model- and aggregation-algorithm-agnostic defense that leverages explainable ML to detect and mitigate byzantine and backdoor attacks in Horizontal Federated Learning (HFL), without relying on assumptions about malicious clients. Xplain uses global explanations generated with SHapley Additive exPlanations (SHAP) to identify anomalies in local updates. By clustering clients based on their SHAP explanations and comparing them with the previous global model, Xplain detects malicious clients. We evaluate Xplain in both IID and non-IID scenarios on three public Network Intrusion Detection datasets, using a Convolutional Neural Network and XGBoost. Xplain outperforms existing NN defenses, maintaining an average F1-score of 91.8% even with 70% of malicious clients. Furthermore, we demonstrate that it promptly detects changes in attacker behavior and effectively counters backdoor attacks, successfully preventing the integration of backdoored updates into the global model.

Il Federated Learning (FL) è emerso come un nuovo paradigma che consente di decentralizzare il Machine Learning (ML) attraverso il training su dati distribuiti tra vari nodi, preservando la privacy dei dati. Questo approccio innovativo permette di collaborare al training di un modello globale senza centralizzare i dati sensibili dei vari nodi. Tuttavia, nonostante i suoi vantaggi, il FL è vulnerabile agli attacchi avversariali che possono minare la sua efficacia e affidabilità. Sebbene siano state proposte delle difese per mitigare queste vulnerabilità, la maggior parte ha requisiti e limiti stringenti. Infatti, spesso queste difese sono adatte solamente alle Neural Networks (NNs), mancano di generalizzabilità ad altri modelli, richiedono metodi di aggregazione specifici per garantire la robustezza e sono vincolate dall’assunzione di un numero massimo di nodi compromessi. Questa tesi presenta Xplain, una nuova difesa indipendente dal modello e dall’algoritmo di aggregazione, che sfrutta l’explainability nel Machine Learning per rilevare e mitigare gli attacchi bizantini e di backdooring nel Federated Learning Orizzontale, senza basarsi su ipotesi sulla percentuale di nodi compromessi. Xplain utilizza le explanations globali generate con SHapley Additive exPlanations (SHAP) per identificare le anomalie negli aggiornamenti locali. Raggruppando i client in base ai loro vettori SHAP e confrontandoli con il vettore SHAP del modello globale precedente, Xplain individua i nodi compromessi. Valutiamo Xplain in scenari IID e non-IID su tre diversi dataset pubblici di Network Intrusion Detection, utilizzando due modelli: Neural Networks e XGBoost. Xplain supera le performance delle difese esistenti per Neural Networks, raggiungendo una F1-Score media del 91,8%, anche con il 70% di nodi compromessi. Inoltre, dimostriamo che Xplain rileva istantaneamente i cambiamenti nel comportamento dei nodi e contrasta efficacemente gli attacchi di backdooring, prevenendo con successo l’incorporazione della backdoor nel modello globale.