A multi-agent optimization framework for decentralized data-based decision-making with application to regression analysis and classification

As the proliferation of connected devices generates vast amounts of distributed data, traditional centralized approaches to data processing and analysis are becoming increasingly inadequate. The need for advanced methods that leverage local information while safeguarding data privacy has become crucial across various sectors, such as industrial automation, smart cities, and healthcare. This thesis presents a multi-agent optimization framework designed to enhance decentralized data-driven decision-making, with a particular focus on regression analysis and classification tasks. The primary objective of this research is to develop a comprehensive approach that addresses the challenges of decentralized data environments. It explores how collaborative learning techniques can harness large distributed datasets to enable multiple agents to optimize their decision-making capabilities while preserving local data characteristics and ensuring privacy. At the core of this work is a decentralized Multi-Task Learning (MTL) strategy, designed to allow multiple related tasks to be learned simultaneously while adapting to local conditions. This framework operates without requiring prior knowledge of agent similarities, making it highly suitable for complex distributed environments. An optimization algorithm is introduced, which further extends MTL to decentralized classification tasks through the adoption of proximal support vector machines. The algorithm leverages a spectral regularizer to encourage collaboration among agents while preserving their individual distinctions. The proposed paradigm supports both batch and recursive modes of operation, while minimizing communication overhead and preserving data privacy. It enables agents to process data locally and collaborate with a central unit for more computationally demanding tasks, thus balancing the distributed capabilities of edge devices with the computational power of a central hub. Synthetic experiments are performed to demonstrate the effectiveness of the framework, showcasing its robustness in handling nonlinear system identification problems and exploring its applicability to classification tasks involving both linearly and nonlinearly separable data. In regression, the proposed approach consistently outperforms alternative decentralized strategies by capturing local specificity while facilitating shared learning among agents. In classification, it shows some potential in leveraging shared structural patterns and improve model consistency and generalization. The practical impact of the proposed framework is demonstrated through a real-world case study in predictive maintenance. To this end, a novel feature extraction method for multivariate classification is developed in collaboration with Linde, a leading player in the process industry, and integrated within the proposed MTL framework for fault prediction and diagnosis. The resulting algorithm is validated on the Tennessee Eastman Process simulation dataset, a widely used benchmark in predictive maintenance for the process industry. Additionally, a hybrid recommender system is developed, combining automated methods with human input to provide a flexible and robust solution for industrial diagnostic environments that are constrained by data limitations, variability, and the need for interpretability. In summary, this thesis provides a relevant contribution to the field of decentralized data-driven decision-making by offering a comprehensive framework for collaborative learning in multi-agent systems. It highlights the transformative potential of decentralized approaches for optimizing decision-making across a wide range of applications, with a particular emphasis on industrial maintenance and diagnostics.

Con la proliferazione di dispositivi connessi che generano grandi quantità di dati distribuiti, i tradizionali approcci centralizzati all'elaborazione e all'analisi dei dati stanno diventando sempre più inadeguati. La necessità di metodi avanzati che sfruttino le informazioni locali salvaguardando la riservatezza dei dati è diventata cruciale in vari settori, come l'automazione industriale, le città intelligenti e la sanità. Questa tesi presenta un nuovo framework di ottimizzazione multi-agente progettato per affinare i processi decisionali decentralizzati basati sui dati, applicati in particolare alla regressione e ai compiti di classificazione. L'obiettivo primario di questa ricerca è sviluppare un approccio che risolva le sfide degli ambienti di dati decentralizzati, concentrandosi su come le tecniche di apprendimento collaborativo possano sfruttare grandi insiemi di dati distribuiti per consentire a molteplici agenti di ottimizzare le proprie capacità decisionali, preservando le caratteristiche locali dei dati e garantendone la riservatezza. Il nucleo centrale del lavoro è una strategia decentralizzata di Multi-Task Learning (MTL), progettata per consentire l'apprendimento simultaneo di più modelli correlati in grado di adattarsi alle condizioni locali. Questa strategia opera senza richiedere una conoscenza preliminare delle somiglianze tra gli agenti, rendendola molto adatta ad ambienti distribuiti complessi. Viene presentato un algoritmo di ottimizzazione che estende MTL a compiti di classificazione decentralizzata tramite l'adozione delle Proximal Support Vector Machines (PSVMs). L'algoritmo sfrutta un regolarizzatore spettrale che favorisce la collaborazione tra gli agenti, preservandone al contempo le specificità individuali. Il paradigma proposto supporta modalità operative sia batch che ricorsive, riducendo al minimo l'overhead di comunicazione e preservando la riservatezza dei dati. Esso consente inoltre agli agenti di elaborare i dati localmente e di collaborare con un'unità centrale per i compiti più impegnativi dal punto di vista computazionale, bilanciando così le capacità distribuite dei singoli agenti con la potenza di calcolo di un hub centrale. Esperimenti sintetici dimostrano l'efficacia del framework proposto nel risolvere problemi di identificazione di sistemi non lineari e di classificazione per dati separabili sia linearmente sia non linearmente. In identificazione, l'approccio mostra costantemente prestazioni migliori rispetto a strategie decentralizzate alternative, catturando in modo efficace le dinamiche locali e facilitando l'apprendimento condiviso tra gli agenti. Nella classificazione, mostra delle potenzialità per quanto riguarda il riconoscimento di strutture condivise, migliorando quindi coerenza e capacità di generalizzazione del modello. L'impatto pratico dell'approccio proposto è dimostrato attraverso un caso studio reale nell'ambito della manutenzione predittiva. A tale scopo, un nuovo metodo di estrazione delle feature per la classificazione multivariata è stato sviluppato in collaborazione con Linde, un'azienda leader nell'industria di processo, e incorporato nel modello MTL proposto per la predizione e la diagnosi di guasti. L'algoritmo risultante è validato sul dataset di simulazione proveniente dal Tennessee Eastman Process, largamente utilizzato al fine di confrontare e valutare algoritmi di manutenzione predittiva nell'industria di processo. Inoltre, si sviluppa un sistema di raccomandazione ibrido che combina sistemi automatici con input dell'uomo quale soluzione flessibile e robusta per contesti di diagnostica dei guasti affetti da limitata quantità di dati, variabilità, e la necessità di interpretabilità. In sintesi, questa tesi fornisce un contributo rilevante alla risoluzione decentralizzata di problemi decisionali multi-agente che coinvolgono dati riservati, introducendo una metodologia piuttosto generale per l'apprendimento collaborativo e evidenziandone il potenziale in un’ampia gamma di applicazioni, e, in particolare, nella manutenzione e diagnostica industriale.