Partial observability in autonomous driving

Machine Learning (ML) has recently become more and more popular thanks to the various developments made in this field in the last years. One of its most interesting and promising application is the use of Reinforcement Learning (RL) methods for designing autonomous vehicles. The goal of this project is to analyze and propose different RL approaches for building high-level controllers able to take decisions for solving complex driving tasks. In particular, this work focuses on proposing methods for solving what in literature are called Partially Observable Markov Decisions Process (POMPD) in the context of Autonomous Driving. POMPDs are well known frameworks which allow to model decisions making problems in stochastic environments, where the autonomous agent, which has to learn how to behave, is not able to correctly perceive the state of the surroundings. In driving scenarios, noise in sensor measurements and/or the presence of obstacles may alter the agent's knowledge about the state of the environment, therefore making it more difficult for the agent to take decisions. In order to face this problem, we propose different solutions based on end to end approaches, state estimators and prediction techniques to obtain controllers able to handle partially observable states. In this project, we make use of a road traffic simulator in order to build the environment for training and testing our models. We use state-of-the-art RL algorithms to produce different types of decision makers, from transparent parametric policies to black box models such as recurrent neural networks. This work has been done in collaboration with Magneti Marelli, an italian company specialized in developing and producing high-tech components for the automotive industry.

Machine Learning è una branca dell' Intelligenza Artificiale che recentemente è diventata sempre più rilevante ed importante grazie ai vari sviluppi conseguiti in questa disciplina negli ultimi anni. Tra le sue svariate applicazioni, l'utilizzo di tecniche di Apprendimento per Rinforzo per progettare veicoli autonomi è certamente una tra le più interessanti e promettenti in questo momento. L'obiettivo di questa tesi è quello di analizzare e proporre diversi approci dell' Apprendimento per Rinforzo per lo sviluppo di controllori di alto livello per la Guida Autonoma. In particolare, questo lavoro si concentra nel progettare metodi per risolvere quelli che in letteratura vengono chiamati Processi Decisionali di Markov Parzialmente Osservabili, nel contesto della Guida Autonoma. Questi framework permettono di modellare problemi decisionali per l' apprendimento di controllori in ambienti stocastici, dove, l'agente, che deve imparare ad agire al fine di raggiungere un determinato obiettivo, non è in grado di percepire correttamente lo stato circostante. In scenari di Guida Autonoma, è comune che lo stato osservato dalla macchina non coincida con quello effettivo. I motivi possono essere molteplici, dal rumore nelle misurazioni dei sensori della macchina all' occlusione di veicoli a causa dalla presenza di edifici e/o pedoni ai lati delle strade. Questi e molti altri fattori alterano la conoscenza che l'agente possiede sullo stato in cui si trova, rendendo più difficile il processo decisionale della macchina autonoma. Al fine di affrontare questo problema, proponiamo svariate soluzioni basate su approci end to end, stimatori di stato e tecniche di predizione per ottenere controllori capaci di gestire stati parzialmente osservabili. In questo progetto, facciamo uso di un simulatore di traffico per costruire un ambiente simulato per l'apprendimento e la valutazione dei vari modelli progettati. Svariati algoritmi di apprendimento per rinforzo sono stati impiegati per lo sviluppo di diverse poliche di controllo. Questo lavoro è stato svolto in collaborazione con Magneti Marelli, un' azienda italiana specializzata nello sviluppo e nella produzione di componenti high-tech per l'industria automobilistica.