Autonomous vehicle control through machine learning algorithms

In the last years autonomous driving concept has become a pivotal solution for future mobility. Programming a control logic able to take into account the vast amount of variables involved in the driving task is an extremely complicated problem. The huge quantity of data available from sensors and the intrinsic stochasticity in all the driving scenarios, make this task as complex as suitable for being solved by means of machine learning algorithms. The here presented thesis aims at rephrasing the problem following methodologies derived from the artificial intelligence field of study; it seeks the algorithms which fit the problem the best; it verifies the behavior of these algorithms, highlighting their weaknesses and advantages with respect to more traditional approaches. The control architecture is modified so that the so called behavioral layer is replaced with a classification neural network, trained on data gathered from several driving simulations. Instead, the trajectory planning and the local feedback control modules are replaced by a parameterized policy, whose parameters are learnt by means of inverse reinforcement learning (IRL) and reinforcement learning (RL) algorithms. Whereas there will be a single policy parameterization for each driving scenario, the classification neural network has the role to choose the best fitting policy depending on the context in which the vehicle is. Finally, tests on different driving scenarios, such as the forward driving and the stop scenarios, are carried out. This study differs from current literature even in the fact that training data have been acquired exploiting a driving simulator based on high fidelity vehicle’s dynamic models: IPG CarMaker.

Il concetto di guida autonoma è diventato negli ultimi anni un caposaldo per lo sviluppo della mobilità futura. La programmazione di una logica di controllo capace di tenere in considerazione le molteplici variabili coinvolte nel ruolo della guida, risulta essere un problema estremamente complesso. La mole di dati derivante dai sensori e la forte componente probabilistica intrinseca in ogni scenario di guida, rendono questo compito tanto complicato, quanto adatto ad una risoluzione tramite algoritmi di machine learning. La seguente tesi ha dunque l’obiettivo di riformulare il problema seguendo logiche derivate dal mondo dell’intelligenza artificiale; si propone di comprendere quali algoritmi possano essere i più prestanti per questa applicazione; intende verificare il funzionamento di tali algoritmi, evidenziandone eventuali criticità o punti di forza rispetto ad approcci più tradizionali. L’architettura proposta sostituisce il cosiddetto behavioral layer con una rete neurale di classificazione allenata su dati raccolti da svariate simulazioni di guida. La parte di pianificazione di traiettoria e di controllo delle azioni di gas/freno e sterzo, viene invece gestita da una politica parametrica, i cui parametri vengono appresi tramite algoritmi di inverse reinforcement learning (IRL) e reinforcement learning (RL). Poiché ogni scenario di guida è associato ad una particolare politica parametrica, la rete neurale di classificazione avrà il compito di scegliere quella più adatta in base al contesto in cui il veicolo si trova. Le logiche così implementate vengono infine testate su diversi scenari di guida, quali l’inseguimento di traiettoria e lo scenario di stop. Il seguente lavoro si distingue da altri presenti in letteratura anche per l’utilizzo di dati derivanti da un software di simulazione capace di riprodurre fedelmente la dinamica del veicolo: IPG CarMaker.