Benchmarking federated learning frameworks: a network case study

Federated Learning (FL) is a rapidly expanding machine learning approach that allows a model to learn from distributed data without exchanging raw data. In recent years, many FL open-source frameworks have been created. However, unlike classic machine learning, where the technology can be considered mature and consolidated from the point of view of the frameworks, this is not the case in the FL field. Since there is no FL standard, frameworks may present significant differences. Having a standardised way to benchmark different frameworks can allow developers in the decision phase when building an FL infrastructure; This thesis proposes a simulation and benchmark approach from a com- munication perspective using Containernet as a simulation platform. This is performed by collecting and analysing the traffic on the Parameter Server, which is responsible for coordinating the clients during the application of Federated Learning. Five metrics were defined that would allow the behaviour of the frameworks to be distinguished by creating a benchmark: Uplink, Downlink, Total Communication Time, Time Sending Parameters, Silence Time and Efficiency. These metrics allowed a ’black box’ comparison of the differ- ent Federated Learning frameworks, allowing the identification of differences and insights for the choice of an appropriate framework for specific needs.

Federated Learning (FL) è un metodo di di intelligenza artificiale in grande espansione, in questo periodo c’è un forte sviluppo di framework open-source che applicano questo paradigma di intelligenza artificiale. A differenza del machine learning classico, dove la tecnologia si può considerare matura e consolidata dal punto di vista dei framework, nel campo el FL non è così ogni framework presenta significative differenze (un framework può preferire un ampio utilizzo di banda e poche risorse computazionali, dualmente può preferire risorse computazionali per comprimere dati trasmessi per ridurre utilizzo banda). Non c’è un metodo standardardizzato per effettuare benchmark tra diversi framework. E’ importante avere un metodo che permetta di effettuare un benchmark in maniera flessibile e scalabile dei diversi framework per poter scegliere il framework in base alle esigenze di applicazione. Questa tesi propone un approccio di simulazione e benchmark dal punto di visto della rete utilizzando Containernet come piattaforma di simulazione. I dati rac- colti sono il traffico sul server che si occupava di coordinare i client durante l’applicazione del Federarated Learning. Per questo scopo sono state definite cinque metriche che per- mettessero di distinguere il comportamento dei framework creando un benchmark. Le metriche sono Uplink, Downlink, Total Communication Time, Time Sending Parameters, Silence time e Efficiency. Queste metriche hanno permesso comparativa ’black box" dei diversi framework di Federated Learning, permettendo di identificare differenze e insights per la scelta di un opportuno framework alle specifiche esigenze.