FedMingle: communication in federated learning

Federated learning represents a paradigm shift in distributed machine learning, enabling multiple clients to collaboratively train models without sharing raw data. This project, named FedMingle, explores the implementation and evaluation of federated learning using the MNIST dataset to demonstrate the viability and efficiency of this approach. Central to my methodology is a multilayer perceptron (MLP) neural network, optimized using cross-entropy loss and the Adam optimizer. We investigate various IoT and other communication protocols, including TCP socket, REST, CoAP, MQTT, AMQP, and gRPC, to determine their efficacy in federated learning contexts. These protocols facilitate the decentralized training process, allowing clients to transmit model updates securely and efficiently. The aggregation of these updates is performed using the FedAvg algorithm, a standard method in federated learning for averaging model parameters from multiple clients to produce a global model. The performance of the federated learning model is primarily evaluated using accuracy as the metric, providing a clear indicator of the model's effectiveness. Additionally, Mininet, a network emulator, is employed to simulate diverse network conditions and assess the impact of these conditions on the federated learning process. Our results indicate that FedMingle effectively trains a robust model using federated learning principles, with communication protocol choice significantly affecting the training efficiency and overall model performance. This study provides valuable insights into the practicalities of implementing federated learning in real-world scenarios, highlighting the strengths and limitations of various communication strategies in distributed machine learning systems.

Il learning federato rappresenta un cambiamento di paradigma nell'apprendimento automatico distribuito, consentendo a più client di allenare collaborativamente modelli senza condividere dati grezzi. Questo progetto, chiamato FedMingle, esplora l'implementazione e la valutazione del learning federato utilizzando il dataset MNIST per dimostrare la fattibilità e l'efficienza di questo approccio. Centrale alla nostra metodologia è una rete neurale multistrato (MLP), ottimizzata utilizzando la perdita di entropia incrociata e l'ottimizzatore Adam. Investighiamo vari protocolli di comunicazione IoT e altri, tra cui TCP socket, REST, CoAP, MQTT, AMQP e gRPC, per determinarne l'efficacia nei contesti di apprendimento federato. Questi protocolli facilitano il processo di allenamento decentralizzato, consentendo ai client di trasmettere aggiornamenti del modello in modo sicuro ed efficiente. L'aggregazione di questi aggiornamenti viene eseguita utilizzando l'algoritmo FedAvg, un metodo standard nel learning federato per mediare i parametri del modello da più client per produrre un modello globale. Le prestazioni del modello di apprendimento federato vengono valutate principalmente utilizzando l'accuratezza come metrica, fornendo un chiaro indicatore dell'efficacia del modello. Inoltre, Mininet, un emulatore di rete, viene impiegato per simulare diverse condizioni di rete e valutare l'impatto di tali condizioni sul processo di apprendimento federato. I nostri risultati indicano che FedMingle allena efficacemente un modello robusto utilizzando i principi del learning federato, con la scelta del protocollo di comunicazione che influisce significativamente sull'efficienza dell'allenamento e sulle prestazioni complessive del modello. Questo studio fornisce preziosi spunti sulla pratica dell'implementazione del learning federato in scenari reali, evidenziando i punti di forza e le limitazioni delle varie strategie di comunicazione nei sistemi di apprendimento automatico distribuito.