Adaptive federated learning in presence of concept drift

Federated Learning (FL) is a novel paradigm in distributed machine learning, aiming to build a single central model using the computational resources of pervasively distributed clients. The distinctiveness and strength of this paradigm is its capacity to aggregate clients' information without sending their (possibly sensitive) data to the server, consequently making it extremely reliable in settings where guaranteeing users' privacy turns out to be essential. Operating in distributed contexts, often populated by mobile systems such as smartphones and IoT devices, requires to learn even in non-stationary conditions, as the data collected by the devices may vary due to environmental uncertainty, changes in the users' habits, or seasonality effects. The current literature in the FL field, made of numerous algorithms capable of performing secure aggregations, does not provide an adequate solution to learn in non-stationary environments. The objective of this thesis is to present, for the first time in the literature, a promising FL algorithm called Adaptive-FedAVG, able to operate in presence of concept drifts, while ensuring the same performances in stationary conditions. The proposed solution implements a server-side passive approach to deal with non-stationary data, working as a learning rate scheduler able to re-calibrate the step size if the training process requires it. The experimental campaign shows the effectiveness of the proposed solution, which overcomes a state-of-the-art algorithm when the learning phase is characterized by concept drifts while ensuring similar performances in stationary environments. The proposed solution was submitted to the "International Joint Conference on Neural Networks (IJCNN), 2021".

Il Federated Learning (FL) è un nuovo e promettente paradigma nel campo del Machine Learning, che mira a costruire un singolo modello centrale utilizzando le risorse computazionali fornite da numerosi client distribuiti. Particolarità e punto di forza di questo paradigma è la sua capacità di aggregare le informazioni dei client senza inviare dati (possibilmente sensibili) al server, rendendolo così estremamente affidabile in contesti in cui risulta essenziale garantire la privacy degli utenti. Agire in un contesto distribuito popolato da sistemi come cellulari e dispositivi IoT, richiede di poter operare anche in condizioni non stazionarie, in quanto i dati raccolti dai dispositivi possono variare a causa dell'incertezza dell'ambiente, dei cambiamenti nelle abitudini o a causa di effetti stagionali. L'attuale letteratura nel campo del FL, composta da numerosi algoritmi, non fornisce una soluzione adeguata in presenza di contesti non stazionari. L'obiettivo di questa tesi è presentare, per la prima volta nella letteratura, un promettente algoritmo di FL denominato Adaptive-FedAVG, in grado di operare in presenza di cambi di concetto, garantendo però le stesse prestazioni in condizioni stazionarie. La soluzione proposta implementa un approccio passivo lato server per gestire dati non stazionari, agendo da pianificatore del tasso di apprendimento, in grado di ricalibrarlo se il processo dovesse richiederlo. La campagna sperimentale mostra l'efficacia della soluzione proposta, la quale supera un noto algoritmo presente in letteratura quando la fase di apprendimento è caratterizzata da cambi di concetto, garantendo prestazioni simili in ambienti stazionari. Il lavoro è stato proposto alla "International Joint Conference on Neural Networks (IJCNN), 2021".