Multi-team games in adversarial settings : ex-ante coordination and independent team members algorithms

Studies in multi-agent systems are increasing in recent times in Artificial Intelligence community, because they can model a wide range of real world scenarios. This work focuses on systems in which agents cooperate as a team in order to face multiple adversaries, which collaborate to minimize the utility of the former. In order to model this problem we resort to tools from Game Theory. We study the field of adversarial team games, and we analyze as a concept of solution the team max-min equilibrium with correlation device, which is used to describe the behavior of teams whose team members can correlate their strategies. We first present some state-of-the-art Reinforcement Learning algorithms, that were designed for players that choose their action independently, without any correlation with the teammates, in order to show their capability to adapt to adversarial team setting. We introduce an algorithm, namely, Fictitious Team Play, that finds a solution in an adversarial team game and we analyze its performance from a game-theoretical point of view, proving that it converges to an equilibrium. We evaluate the aforementioned algorithms in a simulated environment and we compare their performance, showing that, in this particular setting, performance of reinforcement learning algorithms are similar to the one of Fictitious Team Play.

L'interesse della comunità scientifica verso i sistemi multi-agente è in crescita negli ultimi tempi. Questo lavoro si concentra su sistemi in cui gli agenti cooperano come una squadra per affrontare più avversari, che collaborano per ridurre al minimo l'utilità dei primi. Per modellare questo problema ci avvaleremo degli strumenti della Teoria dei Giochi. Studieremo il campo degli adversarial team games, e analizzeremo il team max-min equilibrium con correlation device, che viene utilizzato per descrivere il comportamento delle squadre che sono in grado di correlarsi. Presenteremo alcuni algoritmi di Reinforcement Learning, che rappresentano lo stato dell'arte, progettati per giocatori indipendenti, al fine di mostrare la loro capacità di adattarsi agli adversarial team games. Presenteremo un algoritmo, il Fictitious Team Play, che è in grado di trovare una soluzione negli adversarial team game e ne analizzeremo le prestazioni dal punto di vista teorico, dimostrando che converge verso l'equilibrio; valuteremo i suddetti algoritmi in un ambiente simulato e ne confronteremo le prestazioni, dimostrando che, in questo particolare contesto, le prestazioni degli algoritmi di Reinforcement Learning sono simili a quelle del Fictitious Team Play.