Tactical Manager AI for Real Time Strategy Games

Real Time Strategy (RTS) games have always been considered challenging for Artificial Intelligence (AI) agents to play effectively due to their simultaneous and adversarial nature, leading to complex game scenarios where it is important to manage both a macro-strategy to effectively manage your resources and a micro-strategy to optimize combat scenarios. Many AIs rely on hard-coded strategies designed by human experts, while others rely on the usage of Game Tree Search techniques to explore all the possible moves, however both approaches come with drawbacks, respectively the inability to adapt to new game scenarios and the long time taken to chose the optimal move, and they often focus on optimizing either the macro or micro behaviours. The goal of this thesis is to introduce a new approach, called Tactical Manager AI (TMA), that aims at optimizing the matches both on a macro and micro level by relying on the cooperation of two components: a main ’Manager AI’ and a set of specialized game strategies. The manager AI focuses on gathering data on the current game state to perform a classification to choose one game strategy from the set and then passes the gathered data to the chosen strategy, which will be calibrated to adapt various game scenarios. These strategies all implement a defined macro strategy but also allow singular units to enact specific micro behaviours by checking their surrounding and recognizing certain patterns. The new approach was implemented as a bot for μRTS, an abstract RTS game popular as a testbed in the research community, allowing us to directly compare our approach against multiple state-of-the-art agents published in the last few years, showing that TMA has similar if not better performances than other approaches in most maps, only struggling in certain match ups.

I giochi di Strategia in Tempo Reale (RTS) sono da sempre considerati tra i giochi più complessi da giocare in maniera efficace per le Intelligenze Artificiali (IA) in quanto si basano interamente su mosse simultanee di diverse unità per entrambi i giocatori, portando ad una maggiore quantità e complessità di situazioni che devono essere ottimizzate sia ad un alto livello con la gestione delle risorse sia ad un basso livello con i singoli combattimenti. Tra gli approcci più diffusi per questi giochi ci sono l’uso di strategie codificate disegnate da giocatori esperti e l’uso tecniche di Game Tree Search per simulare tutte le possibili mosse e scegliere quella ottimale, tuttavia entrambi questi metodi presentano grossi problemi, rispettivamente l’impossibilità di adattarsi a scenari imprevisti e il tempo di calcolo previsto per la scelta della mossa ottimale. Con il lavoro di questa tesi il nostro scopo è quello di introdurre le basi per un nuovo approccio, battezzato Tactical Manager AI (TMA), che punta ad ottimizzare le mosse scelte sia ad alto che a basso livello grazie all’interazione di due componenti principali: una IA ’manager’ principale e un insieme di strategie codificate specializzate. Lo scopo dell’IA manager è di raccogliere periodicamente i dati sullo stato corrente del gioco per classificarlo e scegliere la strategia più adatta all’evoluzione del gioco. I dati raccolti sono quindi passati alla strategia scelta, che li userà per calibrare di conseguenza le scelte prese così da poterle ottimizzare per lo stato corrente del gioco. Le strategie dell’insieme implementano tutte una rispettiva strategia di alto livello ma allo stesso tempo consentono alle singole unità di agire individualmente riconoscendo specifici pattern nei loro dintorni. TMA è stato implementato con l’uso di μRTS, un RTS astratto molto popolare come banco di prova per nuovi approcci, permettendoci di compararlo direttamente contro diversi approcci all’avanguardia. Queste simulazioni ci hanno dunque dimostrato che TMA ha performance simili se non migliori sulla maggior parte delle partite, trovandosi in difficoltà soltanto in un ristretto numero di casi.