Multi-agent decision making via active inference

Active Inference is an emerging framework to provide a quantitative understanding of behavioural aspects in neuroscience. Its application to agency problems is intuitive, as it offers a natural, autopoietic interpretation of action and decision-making. Moreover, this framework has the potential to elegantly address classic agency challenges, such as the exploration/exploitation trade-off and the credit assignment problem, thanks to the intrinsic ontological nature of its derivation and the possibility of factorizing observational channels. Mathematically, Active Inference can be formulated within the structure of Partially Observable Markov Decision Processes (POMDPs), which provide the formalism and structure required for the problem tractability. Beyond presenting two of the first applications of Active Inference to multi-agent systems, this work introduces two key innovations: the use of contextual inference to enhance agent adaptability, and the integration of Streaming Machine Learning models within the agents’ internal generative structures to ensure efficiency and scalability of the internal representations. To demonstrate the effectiveness of the proposed approach and to explore the two fundamental modalities of multi-agent interaction, i.e. competition and cooperation, two numerical experiments have been conducted. The first extends the classical Cournot Duopoly game, offering a competitive scenario specifically designed for this study, while also benefiting from an existing mathematical for- malization that supports and guides the design process. The second explores a cooperative setting inspired by Digital Twin applications in structural health monitoring, where two bridges are treated as components of a unified, interconnected system to be monitored and preserved. This second example also serves to illustrate the broader applicability of the proposed methods in Digital Twin environments.

Quello dell’Active Inference è un approccio innovativo che affonda le sue radici nel campo delle neuroscienze. Concepito come strumento quantitativo per comprendere aspetti comportamentali dei soggetti in esame, la sua applicazione ai problemi di agency risulta immediata. Offre infatti un’interpretazione naturale e autopoietica delle azioni e dei processi decisionali ed ha inoltre il potenziale di affrontare in modo elegante problemi classici nell’implementazione di agenti artificiali, come l’exploration/exploitation trade-off o il credit assignment problem, grazie alla stessa natura ontologica della sua formulazione e alla fattorizzazione dei canali sensoriali. Da un punto di vista matematico, Active Inference può essere inquadrato all’interno del formalismo dei Partially Observable Markov Decision Processes (POMDP), fornendo così la struttura necessaria per una trattazione rigorosa del problema. Oltre a presentare una delle prime applicazioni dell’Active Inference in contesti multi- agente, questo lavoro introduce due elementi di novità: l’integrazione del concetto di contextual inference per aumentare l’adattabilità dell’agente e l’uso di modelli di Streaming Machine Learning all’interno dell’architettura generativa del modello, al fine di garantirne efficienza e scalabilità nella rappresentazione, interna all’agente, della realtà. Per valutare l’efficacia dei metodi proposti e analizzare i due principali paradigmi d’interazione in ambienti multi-agente, i.e. cooperazione e competizione, sono stati condotti due esperimenti numerici. Il primo estende il modello classico del Duopolio di Cournot per rappresentare uno scenario competitivo, specificamente sviluppato per questo studio ma supportato allo stesso tempo da una formalizzazione matematica preesistente, utile a guidare la fase di modellazione. Il secondo esperimento analizza uno scenario cooperativo ispirato alle applicazioni dei Digital Twin nel contesto di System Health Monitoring, in cui due ponti vengono considerati come parti di un unico sistema interconnesso da monitorare e preservare. Questo secondo caso ha anche l’obiettivo di evidenziare la più ampia applicabilità delle metodologie proposte nel dominio dei Digital Twin.