Cooperative machine learning methods in distributed systems

Cooperative learning and inference in multi-agent systems (MAS) are increasingly pivotal in addressing the complexities and dynamic demands of modern technological environments. Spanning domains from robotics and internet of things (IoT) to telecommunications and healthcare, these collaborative strategies enhance the robustness and adaptability of systems handling intricate or resource-intensive tasks. This thesis explores innovative approaches in both centralized and decentralized frameworks, focusing on optimizing system performance through advanced machine learning (ML) methods. The goal is to introduce novel methods that expand the capabilities of MAS in practical scenarios, ensuring efficient, scalable, and privacy-aware solutions that adapt dynamically to changing conditions and maintain high performance among varied and unpredictable environmental factors. The thesis is divided into two main parts, each dedicated to analyzing one of the two key components of a MAS: learning and inference. In the first part of the thesis, the focus is on cooperative learning which is investigated in graph-aware centralized machine learning (C-ML), privacy-preserving decentralized machine learning (D-ML), and non-stationary learning frameworks. For graph-aware learning, we considered the tasks of data association (DA) and cooperative positioning (CP) in vehicular networks, where exploiting a logical graph structure enables the handling of non-linear distributions and scalable architectures. When data exchanged between agents is private or sensitive, D-ML algorithms can be used to exchange only model parameters or latent features, reducing the disclosure of privacy information. In this context, we proposed a real platform for performing decentralized and fully-decentralized learning in medical and IoT networks. In particular, we studied federated learning (FL) algorithms in asynchronous learning processes and FL weighted averaged consensus (WAC) techniques for serverless learning in non-independent and identically distributed (IID) conditions with heterogeneous devices. In the presence of resource-constrained devices, we proposed decentralized split learning (SL) algorithms that iteratively distribute the computational burden of training among agents. Finally, whenever agents are in the presence of highly-dynamic environments and non-stationary distributions of data, multi-agent reinforcement learning (MARL) algorithms can be adopted. In the thesis, we developed a novel MARL algorithm for performing implicit cooperative positioning (ICP) in vehicular networks, where passive objects (or targets) are exploited to refine the agents’ state estimate. After having investigated techniques for cooperative learning, in the second part of the thesis, we turned our attention to cooperative inference, where we studied efficient and reliable techniques for the tasks of non-line-of-sight (NLoS) identification, static and mobile position in next-generation cellular networks. The agents, i.e., the base stations (BSs) in this case, estimate and compress the channel into a latent representation which is subsequently adopted for sensing. For NLoS identification, we proposed an anomaly detection scheme which efficiently evaluates the likelihood of channel samples of belonging to the line-of-sight (LoS) normal distribution. On the contrary, for static positioning, we presented a cooperative inference scheme for efficiently combining latent features. In particular, in LoS conditions, the BSs cooperatively localize the user equipment (UE) by fusing latent features, whereas in NLoS conditions, the BSs perform independently positioning. Finally, for mobile positioning, we first proposed a novel Bayesian neural network (BNN) algorithm for estimating the full uncertainty of predictions in real-time. Then, we integrated this uncertainty into tracking filters, optimally combining the fingerprint-based likelihood functions of different BSs in out of distribution (OoD) areas. In conclusion, this thesis presents a comprehensive exploration of cooperative learning and inference strategies within MASs, offering scalable and adaptive solutions across a diverse range of technological domains. By integrating advanced ML techniques with the implicit complexities of cooperative environments, we have developed robust models that significantly enhance both the precision and reliability of various application areas, ranging from vehicular and IoT networking to healthcare and cellular systems. These innovative approaches not only demonstrate the practical benefits of cooperative strategies but also highlight the potential for future advancements in data-driven technologies.

L'apprendimento e l'inferenza cooperativa nei sistemi multi-agente (MAS) stanno diventando sempre più fondamentali nell'affrontare le complessità e le esigenze dinamiche degli ambienti tecnologici moderni. Spaziando da domini come la robotica e l'internet delle cose (IoT) alle telecomunicazioni e alla sanità, queste strategie collaborative migliorano la robustezza e l'adattabilità dei sistemi che gestiscono compiti intricati o ad alta intensità di risorse. Questa tesi esplora approcci innovativi sia in quadri centralizzati che decentralizzati, focalizzandosi sull'ottimizzazione delle prestazioni di sistema attraverso metodi avanzati di machine learning (ML). L'obiettivo è introdurre nuovi metodi che ampliano le capacità dei MAS in scenari pratici, assicurando soluzioni efficienti, scalabili e attente alla privacy, che si adattano dinamicamente alle condizioni mutevoli e mantengono alte prestazioni tra fattori ambientali vari e imprevedibili. La tesi è divisa in due parti principali, ognuna dedicata all'analisi di uno dei due componenti chiave di un MAS: apprendimento e inferenza. Nella prima parte della tesi, l'attenzione è sull'apprendimento cooperativo, che viene investigato in contesti di machine learning centralizzato consapevole del grafo (C-ML), machine learning decentralizzato preservante la privacy (D-ML) e quadri di apprendimento non stazionario. Per l'apprendimento consapevole del grafo, abbiamo considerato i task di data association (DA) e posizionamento cooperativo (CP) in reti veicolari, dove lo sfruttamento di una struttura a grafo logico consente la gestione di distribuzioni non lineari e architetture scalabili. Quando i dati scambiati tra gli agenti sono privati o sensibili, possono essere utilizzati algoritmi D-ML per scambiare solo i parametri del modello o le caratteristiche latenti, riducendo la divulgazione di informazioni private. In questo contesto, abbiamo proposto una piattaforma reale per eseguire apprendimento decentralizzato e completamente decentralizzato in reti mediche e IoT. In particolare, abbiamo studiato algoritmi di federated learning (FL) in processi di apprendimento asincroni e tecniche di consenso ponderato con media (WAC) per l'apprendimento senza server in condizioni non indipendenti e identicamente distribuite (non-IID) con dispositivi eterogenei. In presenza di dispositivi con risorse limitate, abbiamo proposto algoritmi di split learning (SL) decentralizzato che distribuiscono iterativamente il carico computazionale dell'addestramento tra gli agenti. Infine, quando gli agenti operano in ambienti altamente dinamici e con distribuzioni dei dati non stazionarie, possono essere adottati algoritmi di reinforcement learning multi-agente (MARL). Nella tesi, abbiamo sviluppato un nuovo algoritmo MARL per eseguire il posizionamento cooperativo implicito (ICP) in reti veicolari, dove oggetti passivi (o target) vengono sfruttati per affinare la stima dello stato degli agenti. Dopo aver investigato le tecniche per l'apprendimento cooperativo, nella seconda parte della tesi abbiamo rivolto la nostra attenzione all'inferenza cooperativa, studiando tecniche efficienti e affidabili per i compiti di identificazione della non-line-of-sight (NLoS) e di posizionamento statico e mobile nelle reti cellulari di prossima generazione. Gli agenti, cioè le stazioni base (BS) in questo caso, stimano e comprimono il canale in una rappresentazione latente che viene successivamente utilizzata per il sensing. Per l'identificazione NLoS, abbiamo proposto uno schema di rilevamento delle anomalie che valuta efficacemente la probabilità che i campioni di canale appartengano alla distribuzione normale line-of-sight (LoS). Al contrario, per il posizionamento statico, abbiamo presentato uno schema di inferenza cooperativa per combinare efficacemente le caratteristiche latenti. In particolare, in condizioni LoS, le BS localizzano cooperativamente l'utente finale (UE) fondendo le caratteristiche latenti, mentre in condizioni NLoS, le BS eseguono il posizionamento in modo indipendente. Infine, per il posizionamento mobile, abbiamo inizialmente proposto un nuovo algoritmo di rete neurale Bayesiana (BNN) per stimare l'incertezza completa delle previsioni in tempo reale. Successivamente, abbiamo integrato questa incertezza in filtri di tracciamento, combinando in modo ottimale le funzioni di verosimiglianza basate su impronte digitali di diverse BS in aree fuori distribuzione (OoD). In conclusione, questa tesi presenta un'esplorazione approfondita delle strategie di apprendimento e inferenza cooperativa all'interno dei MAS, offrendo soluzioni scalabili e adattive in una vasta gamma di domini tecnologici. Integrando tecniche avanzate di ML con le complessità intrinseche degli ambienti cooperativi, abbiamo sviluppato modelli robusti che migliorano significativamente sia la precisione che l'affidabilità in varie aree applicative, che spaziano dalle reti veicolari e IoT alla sanità e ai sistemi cellulari. Questi approcci innovativi non solo dimostrano i benefici pratici delle strategie cooperative, ma evidenziano anche il potenziale per futuri avanzamenti nelle tecnologie guidate dai dati.