Place cells for navigation in the doom environment

In this thesis we implement a biologically inspired algorithm that enables an artificial agent to orientate in an unknown environment and to navigate towards a goal location. The algorithm incorporates aspects of both the main subfields of artificial intelligence: neuroscience and machine learning. As far as neuroscience is concerned, the algorithm imitates biological mechanisms of animal brain cells located in the hippocampus that allow the animal to perform orientation and navigation tasks, and builds a population of hippocampal place cells that serve as a representation of the state space. Starting from this representation the agent learns how to find an optimal route to a specified location in a reinforcement learning fashion by the use of a Q-learning method boosted by eligibility traces. In the first part of the thesis we review the basis of the two main components of our algorithm: reinforcement learning on the one hand and the biology of spatial representation on the other. After having reviewed these notions we jump in the description of how the algorithm actually works. Finally we show the results obtained by implementing the algorithm in VizDoom, an open source platform for testing algorithms in the field of visual reinforcement learning.

In questa tesi viene implementato un algoritmo ispirato da meccanismi biologici che permette ad un agente artificiale di orientarsi in un ambiente sconosciuto e di navigare verso una meta desiderata. L'algoritmo incorpora aspetti provenienti dai due principali sottocampi dell'intelligenza artificiale: le neuroscienze e il machine learning. Per quanto riguarda le neuroscienze, l'algoritmo imita i meccanismi biologici delle cellule presenti nell'ippocampo degli animali, che permettono all' animale di eseguire funzioni di orientamento e navigazione, e crea una popolazione di place cells che va a costituire la rappresentazione spaziale dell'ambiente circostante. Partendo da questa rappresentazione, l'agente impara come trovare il percorso ottimale per raggiungere una determinata meta per mezzo di tecniche di apprendimento per rinforzo usando in particolare un algoritmo Q-learning potenziato da eligibility traces. Nella prima parte della tesi vengono rivisti i principali aspetti delle due componenti dell'algoritmo: l'apprendimento per rinforzo da una parte e gli aspetti biologici legati alla rappresentazione spaziale negli animali dall'altra. Viene descritto in seguito l'algoritmo vero e proprio e ne viene descritto il funzionamento. Infine vengono mostrati i risultati ottenuti implementando l'algoritmo in VizDoom, una piattaforma open source utilizzata per testare algoritmi nel campo dell' apprendimento per rinforzo basato su stimoli visivi.