Regret-based traces-exploration abstractions for large game solving. Artificial emotional intelligence integrating irrationality into moral rational agents

Throughout the years, the goal of Artificial Intelligence has shifted from developing artificial agents simulating human behavior to complementing intelligence by enhancing reasoning far beyond the capability of the human mind. Despite AI’s vision being on general intelligence, development of game-theoretical methods to find optimal strategies is mainly focused on domain specific tasks and recreational games, allowing for little domain independence. Most real-world strategic scenarios, including theoretical economics, political science, and military are suitable for classical game theoretical analysis. However, their complexity, mainly due to the huge or infinite number of states and actions, has not allowed the proposed algorithms to scale. In spite of these challenges, game realizations observed through actual play or simulations are readily accessible. However, little research has been carried out on simulation-based games, where a complete description of the game is not available, but game plays and corresponding noisy payoffs are. As such, we focus our research on developing a domain-independent model-free abstraction framework, able to find mixed strategy Nash Equilibria in any extensive-form game in a simulation-based fashion. Moreover, we inquire an extension to the classical game theoretical framework to integrate irrationality in moral rational agents without making them irrational, allowing for more complex and emotional agents, enabling full interaction with the environment in real-world situations while keeping emotional context. We propose ReTrE, a framework leveraging deep neural networks and confidence-based exploration techniques to approximate the behavior of CFR, an optimal regret minimization algorithm, in the full game. We show that ReTrE achieves comparable performance with CFR in terms of exploitability when dealing with games small enough to be analyzed by both. Therefore, the practical use of the proposed framework in large games is possible and performance is likely to be in line with what CFR could theoretically achieve, allowing to find competitive suboptimal strategies.

Negli ultimi anni, l'obiettivo dell'Intelligenza Artificiale è passato dallo sviluppo di agenti artificiali capaci di simulare il comportamento umano all'accrescimento dell'intelligenza, potenziando le capacità di ragionamento ben oltre quelle della mente umana. Lo sviluppo di metodi basati sulla teoria dei giochi volti a trovare strategie ottimali è focalizzato prevalentemente su attività specifiche, allontanandosi dall'intelligenza artificiale forte. La maggior parte degli scenari reali, ad esempio di economia e politica, si prestano a un'analisi secondo la teoria dei giochi. Tuttavia, la loro complessità, dovuta al grande o infinito numero di stati e azioni, non ha permesso agli algoritmi esistenti per la ricerca di strategie di gioco competitive di scalare. Nonostante queste difficoltà, le realizzazioni di gioco ottenute tramite giocate reali o simulazioni sono ampiamente disponibili. Eppure, la ricerca sui giochi basati su realizzazioni senza il relativo modello non è ancora esaustiva. Pertanto, concentriamo la nostra ricerca sullo sviluppo di un'architettura di astrazione, indipendente dal dominio di applicazione e dal modello di gioco, capace di trovare equilibri di Nash in strategie miste in qualsiasi gioco in forma estesa tramite le sue realizzazioni. Inoltre, indaghiamo filosoficamente e tecnicamente un'estensione alla classica teoria dei giochi per integrare l'irrazionalità negli agenti morali razionali senza renderli irrazionali. L'emotività renderebbe così possibile un'interazione con l'ambiente più completa, permettendo agli agenti di relazionarsi in situazioni reali. Introduciamo ReTrE, un insieme di algoritmi che sfruttano reti neurali e tecniche di esplorazione per approssimare il comportamento di CFR, un algoritmo ottimale di minimizzazione del rimorso, nel gioco completo. Valutando ReTrE su giochi non eccessivamente complessi, in modo tale da essere risolti anche da CFR, osserviamo che le performance sono in linea con quelle dell'algoritmo ottimale. Di conseguenza, essendo i risultati promettenti, l'utilizzo pratico dell'architettura proposta per giochi complessi è ragionevole e costituisce una futura direzione di ricerca.