Dynamic Selection Techniques for Federated Learning

The rise of machine learning (ML), fueled by open datasets, affordable processing, and cost-effective storage, has accelerated model development across various applications like computer vision and natural language processing. Federated learning (FL) enables the creation of ML models without compromising user data privacy. Users train individual models and periodically share updates with a central server. The server aggregates these models, creating a centralized model that incorporates insights from all users without accessing their specific data. This approach maintains data privacy while deriving collective knowledge from the distributed user data. FL introduces complexities such as statistical and system heterogeneity, requiring innovative algorithms for convergence in non-iid datasets. Furthermore, strategic client selection and resource allocation become crucial for optimizing FL system performance. Finally, experimenting with realistic federated environments is challenging due to associated costs. This thesis proposes extensions to Flower, a highly promising framework for advancing federated learning research. Using Flower to prioritize reproducibility and extendability, crucial for experimental challenges in FL, the thesis extend it with algorithms for dynamic client selection and resource-aware workload allocation. The work concludes with an experimental phase assessing the impact of introduced elements compared to state-of-the-art techniques. Experimental results showcase the competitiveness of proposed strategies, particularly in heterogeneous settings, demonstrating effectiveness, convergence speed, and stability. The experiments underscore the importance of strategic client selection and workload distribution in FL for effective and stable model training. The thesis contributes to advancing FL research and highlights Flower as a valuable framework for future development.

L'ascesa del machine learning (ML), alimentata da set di dati disponibili, elaborazione a prezzi accessibili e archiviazione a costi contenuti, ha accelerato lo sviluppo di modelli in varie applicazioni come la computer vision e l'elaborazione del linguaggio naturale. Il federated learning (FL) consente la creazione di un modello di apprendimento automatico senza compromettere la privacy dei dati degli utenti. Gli utenti addestrano modelli individuali e condividono periodicamente gli aggiornamenti con un server centrale. Il server aggrega questi modelli, creando un modello centralizzato che incorpora gli aggiornamenti di tutti gli utenti senza accedere ai loro dati specifici. Questo approccio consente di mantenere la privacy dei dati e di ricavare conoscenze collettive dai dati distribuiti degli utenti. Il FL introduce complessità come l'eterogeneità statistica e del sistema, che richiede algoritmi innovativi per la convergenza in insiemi di dati non indipendenti e identicamente distribuiti. Inoltre, la selezione strategica dei client e l'allocazione delle risorse diventano cruciali per ottimizzare le prestazioni del sistema FL. Infine, la sperimentazione di ambienti federati realistici è impegnativa a causa dei costi associati. Questa tesi propone Flower come un framework molto promettente per far progredire la ricerca sul federated learning. Utilizzando Flower per dare priorità alla riproducibilità e all'estendibilità, cruciali per le sfide sperimentali nel federated learning, la tesi lo estende con algoritmi per la selezione dinamica dei client e l'allocazione del carico di lavoro consapevole delle risorse. Il lavoro si conclude con una fase sperimentale che valuta l'impatto degli elementi introdotti rispetto allo stato dell'arte. I risultati sperimentali dimostrano la competitività delle strategie proposte, in particolare in contesti eterogenei, dimostrando efficacia, velocità di convergenza e stabilità. Gli esperimenti sottolineano l'importanza della selezione strategica dei client e della distribuzione del carico di lavoro nel federated learning per una formazione efficace e stabile dei modelli. La tesi contribuisce a far progredire la ricerca sul federated learning e mette in evidenza come Flower sia un valido framework per lo sviluppo futuro della materia.