Multi-agent learning algorithms in real-world: exploring deployment limitations in a robotic scenario

The field of Artificial Intelligence has encountered remarkable advancements in recent years, particularly in the domain of machine learning. One area of significant interest is Multi-Agent Reinforcement Learning (MARL), which extends this paradigm of Single-Agent Reinforcement Learning to settings where multiple agents interact with each other and their environment. This research explores the challenges and opportunities MARL presents in real-world scenarios. To achieve this objective, we studied and analyzed several algorithms that operate in Multi-Agent Systems, such as the Q-Learning and the FAQ-Learning, and tested their performances in a real environment, using as agents two real robots. The challenge of this work is to allow learning in a non-simulated environment, trying to understand what is possible to do and which are the limitations to take account of. We employed various sensitivity analyses, each for every algorithm, to utilize their best instances. Subsequently, we based our evaluations on each algorithm's ability to converge towards the desired optimal policy and on the timings within which this objective was achieved. Timings proved to be one of the crucial points for observing and analyzing MARL algorithms in a real-world scenario. Nevertheless, it was possible not only to compare different methodologies in the real-world context but also to draw conclusions on what could be considered best practices for non-simulated experimentation. We have understood the importance of precisely designing the learning environment and how the robot-environment interaction must be necessary in real-world contexts like the one we utilized. Engaging in real-world learning not only entails designing and testing an algorithm but also meticulously addressing all aspects related to the agents used during learning, such as their movements and the use of sensors mounted on them.

Il campo dell'Intelligenza Artificiale ha visto notevoli progressi negli ultimi anni, in particolare nel dominio dell'apprendimento automatico. Una delle aree di maggiore interesse è il Multi-Agent Reinforcement Learning (MARL), che estende il paradigma del Reinforcement Learning per un singolo agente a contesti in cui più agenti interagiscono tra loro e con l'ambiente circostante. Questa ricerca mira a esplorare le sfide e le opportunità presentate dal MARL in scenari reali. Per raggiungere questo obiettivo abbiamo studiato e analizzato diversi algoritmi che operano nei Sistemi Multi-Agenti, come il Q-Learning e il FAQ-Learning, e ne abbiamo testato le performance in un ambiente reale, utilizzando due robot come agenti. La sfida di questo lavoro è consentire l'apprendimento in un ambiente non simulato, cercando di comprendere cosa sia possibile fare e quali siano le limitazioni da tenere in considerazione. Abbiamo impiegato diverse analisi di sensibilità, una per ogni algoritmo, al fine di utilizzare le loro migliori istanze. Successivamente, abbiamo basato le nostre valutazioni sull'abilità di ciascun algoritmo di convergere verso la policy ottimale desiderata e sui tempi entro i quali questo obiettivo è stato raggiunto. I tempi si sono rivelati uno dei punti cruciali per osservare e analizzare gli algoritmi MARL in uno scenario reale. Inoltre, è stato possibile non solo confrontare diverse metodologie, ma anche trarre conclusioni su ciò che potrebbe essere considerato le migliori pratiche per la sperimentazione non simulata. Abbiamo compreso l'importanza di progettare con precisione l'ambiente di apprendimento e come l'interazione robot-ambiente debba essere necessaria in contesti real-world come quello che abbiamo utilizzato. Lavorare a questo tipo di apprendimento non significa solo progettare e testare un algoritmo, ma anche affrontare meticolosamente tutti gli aspetti legati agli agenti utilizzati durante l'apprendimento, come i loro movimenti e l'uso dei sensori montati su di essi.