Desing and development of an autonomous agent for the open racing car simulator using deep reinforcement learning

This work studies the design and development of an autonomous agent in the context of racinggames using deep learning. As the deep learning techniques have progressed throughout the years more successful agents have been developed in games scenarios. Our work aims at being a rst step toward the design and the development of an e ective agent using a deep deterministic policy gradient algorithm to race in The Open Race Car Simulator (TORCS) a racing simulator that throughout the years has become the standard software for academic research. We focused on designing three di erent types of networks that use a di erent representation of the input to represent the environment state. The rst network uses a numerical input representation already proved to be successful in performing deep learning on racing-games. For the second network we developed a custom method to generate images at each time-step of the experiment and use them as the state representation. The third network combines the two inputs described above by using both the images and numerical data to build the input of the neural network. After training these models in di erent scenarios we analyzed and compared the results obtained during the training experiments and also when the model was tested on unseen tracks of the game. Our results shows that the network using only images as input struggles to reach the performance of the other networks and form this results we make our conclusion and present the open problems and future work to be done on this topic.

Questo lavoro studia il design e lo sviluppo di un agente autonomo che sfrutta le tecniche di deep learning nel contesto dei giochi di guida. Nel corso degli anni i progressi del deep learning hanno reso queste tecniche molto promettenti in questo contesto. Il nostro lavoro costituisce un punto di partenza per lo sviluppo di un agent che usa un algoritmo di deep deterministic policy gradient per The Open Race Car Simulator (TORCS) un simulatore di guida che nel corso degli anni diventato lo standard per ricerche accademiche di questo tipo. Ci siamo focalizzati nel design di tre diverse reti ognuna delle quali usa una di erente rappresentazione dello stato dell'ambiente di learning. La prima rete usa un input numerico che gi stato provato ottenere buoni risultati nel applicazione del deep learning nei giochi di guida. Per la seconda rete abbiamo sviluppato un metodo custom per generare durante ogni step del processo di learning un immagine della pista che verr usata come rappresentazione dello stato. La terza rete usa un insieme dei due input descritti precedentemente e usa sia le immagini sia dei dati numerici per creare l'input della rete. Dopo aver concluso il processo di training della rete in diversi scenari abbiamo analizzato e confrontato i risultati ottenuti dalle tre reti durante il training e anche quando il modello generato dalle reti stato testato su piste su cui non aveva mai girato. I risultati ottenuti mostrano che la rete che usa solo immagini come input non raggiunge i risultati ottenuti dalle altre due reti e da questo abbiamo tratto le nostre conclusioni e presentato i possibili sviluppi futuri in questo ambito.