Towards Multi-Agent Autonomous Driving

In recent years, the field of autonomous driving, coupled with deep reinforcement learning (RL) algorithms, has garnered significant attention. Multi-Agent Reinforcement Learning (MARL), a branch of RL that focuses on agent interaction, has seen remarkable advancements. However, most of the literature on MARL applied to autonomous driving focus on specific driving scenarios. This thesis addresses this problem by developing an autonomous driving agent using MARL in a general traffic setting. The objective of this research is to develop an autonomous driving agent that excels in collision avoidance, waypoint-based navigation, and smooth driving behavior. Different algorithms are compared and an accurate analysis of the design of these models is conducted. The choice of input data, output data, and reward functions is crucial to determine the behavior of the agents. The study follows a systematic approach that involves the development of a lightweight simulator capable of accurately representing vehicle dynamics, as well as supporting multiple agents. Additionally, a single-agent model is constructed, serving as a foundation for extending the approach to a multi-agent scenario. The study was conducted in the Department of Computer Science at NTNU, Norway.

Negli ultimi anni, il campo della guida autonoma abbinato agli algoritmi di apprendimento per rinforzo, ha raccolto notevole interesse. Il Multi-Agent Reinforcement Learning (MARL), una branca dell'apprendimento per rinforzo che si concentra sull'interazione tra agenti, ha registrato notevoli progressi. Tuttavia, la maggior parte della letteratura sul MARL applicato alla guida autonoma si concentra su scenari di guida specifici. Questa tesi affronta questo problema sviluppando un agente di guida autonoma che utilizza MARL in un contesto di traffico generale. L'obiettivo di questa ricerca è sviluppare un agente di guida autonoma che si distingua per le sue capacità nell'evitare le collisioni, nel seguire una navigazione basata su tappe e nel mantenere un comportamento di guida fluido. Vengono confrontati diversi algoritmi e viene condotta un'analisi accurata della progettazione di questi modelli. La scelta dei dati in ingresso, dei dati in uscita e delle funzioni di ricompensa è fondamentale per determinare il comportamento degli agenti. Lo studio segue un approccio sistematico che prevede lo sviluppo di un simulatore efficiente in grado di rappresentare accuratamente la dinamica del veicolo e di supportare più agenti. Inoltre, viene costruito un modello a singolo agente che serve come base per estendere l'approccio a uno scenario multi-agente. Lo studio è stato condotto presso il Dipartimento di Informatica della NTNU, in Norvegia.