Federated learning for healthcare applications with heterogeneous data and networks

Conducted as a part of the EU Horizon project TRUSTroke, which focuses on improving stroke recurrence prediction while ensuring patient privacy and compliance with European regulations, this research analyzes and optimizes Federated Learning (FL) algorithms in non-IID (Independent and Identically Distributed) settings with limited resources. It examines the impact of communication factors on the training process, addressing common challenges in distributed settings, such as temporary suspensions, packet loss, varying device speeds, and the permanent inactivity of certain clients. Additionally, it includes performance analyses in realistic contexts where data distributions are non-IID. As an introduction to federated systems, a taxonomy of FL techniques is presented to guide algorithm selection based on criteria such as data partitioning, communication architectures, scale of federation, privacy protection methods, and compression and communication techniques. Subsequently, the study explains how different statistical heterogeneities are simulated using the Dirichlet distribution, which generates imbalances in label distribution and sample sizes across clients, and analyzes their impact on the federated process. It also explores sources of system heterogeneity, such as device and communication delays, introducing the “straggler” effect and proposing asynchronous and semi-synchronous algorithms to mitigate this issue. Furthermore, a new asynchronous aggregation method is presented to ensure faster convergence and efficient bandwidth utilization. Algorithm analysis is conducted through a Python framework developed to test various statistical and system conditions. Results indicate that no single algorithm is superior in every context. In this regard, the thesis emphasizes the importance of considering distribution, network, bandwidth, and computational capacity constraints in practical applications, providing guidelines for selecting strategies that best suit specific conditions.

Condotta nell'ambito del progetto EU Horizon TRUSTroke, volto a migliorare la previsione della ricorrenza di ictus garantendo la privacy dei pazienti e rispettando le normative europee, questa ricerca si propone di analizzare e ottimizzare gli algoritmi di FL in contesti non-IID (Indipendenti e Identicamente Distribuiti) e con risorse limitate. Si esaminano l'impatto dei fattori di comunicazione sul processo di addestramento e le problematiche comuni nei contesti distribuiti, quali sospensioni temporanee, perdita di pacchetti, velocità variabile dei dispositivi e inattività permanente di alcuni client, aggiungendo un’analisi delle prestazioni in scenari realistici dove la distribuzione dei dati non è IID. Come introduzione al contesto federato, viene presentata una tassonomia delle tecniche di FL, utile per la selezione degli algoritmi, che si basa su criteri come il partizionamento dei dati, le architetture di comunicazione, la scala di federazione, i metodi di tutela della privacy e le tecniche di compressione e comunicazione. Successivamente, la tesi descrive come simulare diverse eterogeneità statistiche tramite la distribuzione di Dirichlet, generando squilibri nella distribuzione di etichette e nel numero di campioni tra diversi client, e ne analizza l'impatto sul processo federato. Inoltre, essa esplora varie fonti di eterogeneità di sistema, come ritardi nei dispositivi e nelle comunicazioni, introducendo l’effetto “straggler” e proponendo algoritmi asincroni e semi-sincroni per mitigare tale problema. Viene dunque presentato un nuovo metodo di aggregazione asincrona, che garantisce una maggiore velocità di convergenza e un uso efficiente della banda. L’analisi degli algoritmi è condotta tramite un framework Python sviluppato per testare le diverse condizioni statistiche e di sistema. Dai risultati emerge che nessun algoritmo si dimostra superiore in tutti i contesti. A tal proposito, la tesi sottolinea l’importanza di considerare i vincoli di distribuzione, rete, banda e capacità computazionale nelle applicazioni pratiche, offrendo linee guida per scegliere le strategie più adatte a specifiche condizioni.