Federated Retrieval-Augmented Generation (FedRAG) enables decentralized knowledge integration while preserving data privacy. However, current routing mechanisms operate on an unchecked assumption of client honesty regarding their semantic profiles. In this paper, we introduce Routing Hijacking, a novel threat where malicious clients forge profiles to deceive the server into routing victim queries to them, independent of actual data relevance. We demonstrate the universality of this vulnerability across embedding-based, neural, and LLM-based architectures. Crucially, we find that privacy-preserving techniques like homomorphic encryption fail to mitigate this threat as they preserve the geometric attack surface; paradoxically, strict privacy constraints further exacerbate the issue by obscuring attack attribution. The consequences of such hijacking are severe, ranging from denial of service to targeted data poisoning. We validate this impact through a clinical medical case study, showing that Large Language Models often succumb to sycophancy when presented with authoritative-sounding but incorrect retrieved contexts. Furthermore, we reveal that traditional Byzantine-robust defenses are ineffective in FedRAG due to the non-IID nature of legitimate domain experts, often penalizing honest heterogeneity instead of the attacker. To address this, we propose a feedback-based reputation mechanism that dynamically verifies retrieval quality post-hoc. This approach successfully identifies malicious nodes even under adaptive evasion strategies, ensuring robust routing security without violating the fundamental privacy constraints of the federated setting.

La Federated Retrieval-Augmented Generation (FedRAG) consente l'integrazione decentralizzata della conoscenza preservando al contempo la privacy dei dati. Tuttavia, gli attuali meccanismi di routing operano su un'ipotesi non verificata di onestà dei client per quanto riguarda i loro profili semantici. In questo lavoro introduciamo il Routing Hijacking, una nuova minaccia in cui client malevoli falsificano i propri profili per ingannare il server affinché instradi le query delle vittime verso di loro, indipendentemente dall'effettiva pertinenza dei dati. Dimostriamo l'universalità di questa vulnerabilità in architetture basate su embedding, reti neurali e LLM. Fondamentalmente, scopriamo che le tecniche per la tutela della privacy come la crittografia omomorfa non riescono a mitigare questa minaccia poiché preservano la superficie di attacco geometrica; paradossalmente, i rigidi vincoli di privacy aggravano ulteriormente il problema oscurando l'attribuzione dell'attacco. Le conseguenze di tale dirottamento sono gravi, spaziando dal denial of service al data poisoning mirato. Convalidiamo questo impatto attraverso un caso di studio medico clinico, dimostrando che i Large Language Models spesso cedono alla sycophancy quando vengono esposti a contesti recuperati dal tono autorevole ma errati. Inoltre, riveliamo che le difese tradizionali Byzantine-robust sono inefficaci nel FedRAG a causa della natura non-IID dei legittimi esperti di dominio, finendo spesso per penalizzare l'eterogeneità onesta invece dell'attaccante. Per affrontare questo problema, proponiamo un meccanismo di reputazione basato sul feedback che verifica dinamicamente la qualità del retrieval a posteriori. Questo approccio identifica con successo i nodi malevoli anche in presenza di strategie di evasione adattive, garantendo una solida sicurezza di routing senza violare i fondamentali vincoli di privacy dell'ambiente federato.

A wolf in sheep's clothing: targeted routing hijacking in Federated RAG

Mu, Junjie
2024/2025

Abstract

Federated Retrieval-Augmented Generation (FedRAG) enables decentralized knowledge integration while preserving data privacy. However, current routing mechanisms operate on an unchecked assumption of client honesty regarding their semantic profiles. In this paper, we introduce Routing Hijacking, a novel threat where malicious clients forge profiles to deceive the server into routing victim queries to them, independent of actual data relevance. We demonstrate the universality of this vulnerability across embedding-based, neural, and LLM-based architectures. Crucially, we find that privacy-preserving techniques like homomorphic encryption fail to mitigate this threat as they preserve the geometric attack surface; paradoxically, strict privacy constraints further exacerbate the issue by obscuring attack attribution. The consequences of such hijacking are severe, ranging from denial of service to targeted data poisoning. We validate this impact through a clinical medical case study, showing that Large Language Models often succumb to sycophancy when presented with authoritative-sounding but incorrect retrieved contexts. Furthermore, we reveal that traditional Byzantine-robust defenses are ineffective in FedRAG due to the non-IID nature of legitimate domain experts, often penalizing honest heterogeneity instead of the attacker. To address this, we propose a feedback-based reputation mechanism that dynamically verifies retrieval quality post-hoc. This approach successfully identifies malicious nodes even under adaptive evasion strategies, ensuring robust routing security without violating the fundamental privacy constraints of the federated setting.
ING I - Scuola di Ingegneria Civile, Ambientale e Territoriale
26-mar-2026
2024/2025
La Federated Retrieval-Augmented Generation (FedRAG) consente l'integrazione decentralizzata della conoscenza preservando al contempo la privacy dei dati. Tuttavia, gli attuali meccanismi di routing operano su un'ipotesi non verificata di onestà dei client per quanto riguarda i loro profili semantici. In questo lavoro introduciamo il Routing Hijacking, una nuova minaccia in cui client malevoli falsificano i propri profili per ingannare il server affinché instradi le query delle vittime verso di loro, indipendentemente dall'effettiva pertinenza dei dati. Dimostriamo l'universalità di questa vulnerabilità in architetture basate su embedding, reti neurali e LLM. Fondamentalmente, scopriamo che le tecniche per la tutela della privacy come la crittografia omomorfa non riescono a mitigare questa minaccia poiché preservano la superficie di attacco geometrica; paradossalmente, i rigidi vincoli di privacy aggravano ulteriormente il problema oscurando l'attribuzione dell'attacco. Le conseguenze di tale dirottamento sono gravi, spaziando dal denial of service al data poisoning mirato. Convalidiamo questo impatto attraverso un caso di studio medico clinico, dimostrando che i Large Language Models spesso cedono alla sycophancy quando vengono esposti a contesti recuperati dal tono autorevole ma errati. Inoltre, riveliamo che le difese tradizionali Byzantine-robust sono inefficaci nel FedRAG a causa della natura non-IID dei legittimi esperti di dominio, finendo spesso per penalizzare l'eterogeneità onesta invece dell'attaccante. Per affrontare questo problema, proponiamo un meccanismo di reputazione basato sul feedback che verifica dinamicamente la qualità del retrieval a posteriori. Questo approccio identifica con successo i nodi malevoli anche in presenza di strategie di evasione adattive, garantendo una solida sicurezza di routing senza violare i fondamentali vincoli di privacy dell'ambiente federato.
File allegati
File Dimensione Formato  
2026_3_Mu.pdf

accessibile in internet per tutti

Descrizione: Thesis
Dimensione 1.76 MB
Formato Adobe PDF
1.76 MB Adobe PDF Visualizza/Apri

I documenti in POLITesi sono protetti da copyright e tutti i diritti sono riservati, salvo diversa indicazione.

Utilizza questo identificativo per citare o creare un link a questo documento: https://hdl.handle.net/10589/253090