Large Language Models for assisted game level design

This thesis is geared toward the exploration of the way one can leverage the potential of Large Language Models (LLMs) to advance the field of Procedural Content Generation (PGC) in videogames. Major motivations underpinning the work are related to the observation that LLMs are increasingly permeating several aspects of our life and interactions. The multiplicity of applications within which these are employed range, e.g., from scenarios associated with common communication via natural language to tasks with increased levels of complexity involving system management. As such, LLMs are broadly used in several domains involving fundamental and applied research. Proper communication with LLMs is a critical aspect when one aims at obtaining an answer characterized with high accuracy and, possibly, within a short time frame. Hence, a fertile research branch involves the design and development of strategies according to which queries with varied levels of complexity are considered to provide a precise background according to which the LLM can accomplish an intended task. Prompt Engineering techniques aim at effectively refining and implementing these strategy of communication. The videogame market is a stark example of a research and innovation fields that could benefit from a synergistic integration with LLMs. Games relying on Procedural Content Generation algorithms have been the subject of various studies in the recent years. Integration of LLMs into games involving PCG could lead to remarkable improvements in terms of the portfolio of resources that can be employed during the development stage. Additionally, it could lead to a reduced complexity prototyping phase. This is in line with the main aim of PCG, that strive at creating diverse levels with an almost infinite amount of replayability. Here, we start from the analysis of the current state-of-the-art. We emphasize available modern solutions in terms of their relative merits and limitations. We then describe the study performed and implemented in the context of a high profile international competition. The latter is organized in the context of the 2024 IEE - Conference on Games (Milan, 5th-8th August, 2024, https://2024.ieee-cog.org/) with the aim of devising solutions to favor integration of Large Language Models in the field of Procedural Content Generation. The target game is Science Birds, that has been developed with the purpose of being used for research. We illustrate the main steps and results that has enabled us to win the first prize of such international competition. We then illustrate a first study on the way the ideas and concepts underpinning the code produced in the context of the above mentioned IEEE-promoted competition could be integrated in the game Elements of The Souls, to the development of which we have previously effectively collaborated in the context of a project associated with the the course of Videogame Design and Programming, held by professor Pierluca Lanzi at Politecnico di Milano. We then conclude our study with some overview about future development perspectives.

Questa tesi è orientata all'esplorazione di come si possa sfruttare il potenziale dei Modelli Linguistici di Grandi Dimensioni (LLM) per avanzare nel campo della Generazione Procedurale di Contenuti (PCG) nei videogiochi. Le principali motivazioni che supportano il lavoro sono legate all'osservazione che gli LLM stanno permeando sempre più diversi aspetti della nostra vita e interazioni. La molteplicità delle applicazioni in cui questi sono impiegati spazia, ad esempio, da scenari associati alla comunicazione tramite linguaggio naturale a compiti con livelli di complessità aumentati che coinvolgono la gestione di sistemi. Di conseguenza, gli LLM sono ampiamente utilizzati in diversi domini di ricerca. Una corretta comunicazione con gli LLM rappresenta un aspetto critico quando si mira a ottenere una risposta caratterizzata da alta precisione e, possibilmente, in tempi brevi. Pertanto, un ramo fertile della ricerca coinvolge la progettazione e lo sviluppo di strategie secondo cui query con diversi livelli di complessità vengono considerate per fornire un background preciso in base al quale l'LLM può svolgere un compito preciso. Le tecniche di Ingegneria del Prompt mirano a perfezionare ed implementare in modo efficace queste strategie di comunicazione. Il mercato dei videogiochi è un chiaro esempio di campo di ricerca e innovazione che potrebbe beneficiare di un'integrazione sinergica con gli LLM. I giochi che si basano su algoritmi di Generazione Procedurale di Contenuti sono stati oggetto di vari studi negli ultimi anni. L'integrazione degli LLM nei giochi che coinvolgono PCG potrebbe portare a notevoli miglioramenti in termini di portafoglio di risorse impiegate durante la fase di sviluppo. Inoltre, potrebbe portare a una fase di prototipazione a complessità ridotta. Questo è in linea con l'obiettivo principale delle tecniche di PCG, che punta a creare livelli diversificati con una quantità quasi infinita di rigiocabilità. Qui partiamo dall'analisi dello stato dell'arte attuale. Sottolineiamo le soluzioni moderne disponibili in termini dei loro meriti e relativi limiti. Descriviamo poi lo studio eseguito e implementato nel contesto di una competizione internazionale. Quest'ultima è organizzata nell'ambito della 2024 IEE - Conference on Games (Milano, 5-8 agosto 2024, https://2024.ieee-cog.org/) con l'obiettivo di ideare soluzioni che favoriscano l'integrazione degli LLM nel campo della Generazione Procedurale di Contenuti. Il gioco target è Science Birds, sviluppato con lo scopo di essere utilizzato per la ricerca. Mostriamo i passaggi principali e i risultati che ci hanno permesso di vincere il primo premio di tale competizione internazionale. Illustriamo poi un primo studio su come le idee e i concetti alla base del codice prodotto nel contesto della citata competizione promossa dall'IEEE potrebbero essere integrati nel gioco Elements of The Souls, al cui sviluppo abbiamo in precedenza collaborato nel contesto di un progetto associato al corso di Videogame Design and Programming, tenuto dal professor Pierluca Lanzi al Politecnico di Milano. Concludiamo quindi il nostro studio con una panoramica sulle prospettive di sviluppi futuri.