Teaching a learner driver using reinforcement learning and planning strategies

Sequential decision problems are modelled through Reinforcement Learning (RL), a framework in which an agent learns to improve its decisions’ quality during the interaction with the environment. The learning phase requires a lot of interactions with the environment and it can require a lot of time for very complex tasks. The concept of teaching is helpful, since the teacher is able to provide informative notions, far more representative than the information obtained with trial and error. There are several applications in which the presence of a teacher becomes essential to significantly improve the quality of the learning process, e.g. autonomous driving, general game playing, medical applications. This thesis will deal with the application of Teacher-Student Reinforce- ment Learning, i.e. the integration of a Teaching supporter in the RL frame- work, in the field of autonomous driving. In the context of racing cars, con- sidering a single-driver, the goal is to complete one lap on a closed circuit in the least possible time, i.e. with the higher performance. To this extent, an inexpert student may desire to rapidly improve its driving abilities, through specific and targeted advice. For teacher definition, also planning strate- gies will be studied to better identify and characterize the optimal teacher tra jectory. Our approach first focuses on the offline case, in which the student tra- jectory is analyzed afterwards and is subject to the teacher corrections and advice. A second approach is related to the online case, in which the student is subject to teacher advice directly during the driving phase on simulator.

I problemi di decisione sequenziale vengono modellati attraverso il framework del Reinforcement Learning (RL), in cui un agente impara come migliorare la qualità delle sue decisioni durante l'interazione con l'ambiente. La fase di apprendimento richiede una quantità di interazioni con l’ambiente molto grande e può richiedere diverso tempo in caso di tasks a elevata complessità. Il concetto di teaching si rivela utile, dal momento che il teacher ha la capacità di fornire nozioni informative, che si rivelano molto più rappresentative dell’informazione che si può ottenere attraverso il trial and error. Esistono diverse applicazioni in cui la presenza di un teacher diventa essenziale to migliorare in modo significativo la qualità del processo di apprendimento, e.g. la guida autonoma, game playing in generale, applicazioni mediche. Questo lavoro di tesi sarà dedicato all’applicazione del Teacher-Student Reinforcement Learning, i.e. l’integrazione di un supporto con ruolo di teacher nel framework gls{rl}, nell’ambito della guida autonoma. Nel contesto delle auto da corsa, considerando un pilota singolo, l’obiettivo è il completamento di un giro di pista, in un circuito chiudo, nel minor tempo possibile, i.e. con le migliori performance. A tal fine, uno studente che non abbia esperienza potrebbe desiderare un rapido miglioramento delle proprie abilità di guida, attraverso consigli mirati. In aggiunta, per la definizione del teacher, algoritmi di planning saranno studiati, per identificare e caratterizzare la traiettoria ottima del teacher. Il nostro approccio si focalizzerà prima sul caso offline, in cui la traiettoria dello student è analizzata in seguito al giro in pista ed è soggetta alle correzioni e ai consigli del teacher. Un secondo approccio è invece incentrato sul caso online, in cui lo student è soggetto al consiglio del teacher direttamente durante la fase di guida in simulazione.