Development of the MADROB benchmark for autonomous robots

Technological advance in autonomous robots has reached excellent results in the last years, thanks in part to a larger spread of Artificial Intelligence. While there are plenty robotic innovations coming from universities and laboratories all around the world, there is a distinct lack of benchmarking solutions able to determine which of these technologies are fit to be implement in the market and which are still to be iterated on. In this context of constant improvement of autonomous robots, the MADROB project aims at building a benchmarking testbed compliant with the EUROBENCH standards with the goal of identifying real-world ready robots. This thesis focuses on the development process of the MADROB benchmark for autonomous robots: The first part describes the European project EUROBENCH that is the origin for the MADROB project. The motivations and background that lead to the foundation of both these projects are explored in detail. The first part concludes with a description of the SCIROC competition that will take place from the 16th to the 22nd of September and the motivation for bringing the MADROB testbed to this robotic challenge: collecting data from robots undergoing the test and perfecting the design of the testbed. Once the motivations and goals of the project are explained, the thesis describes the benchmark procedure and the literature that was followed when planning the benchmark. References are made to the guideline proposed by EUROBENCH and to the one proposed after the RoCKIn competition of 2014. Finally, the last part will lay out the entire design process of the testbed, describing the first iteration, its problems and the adopted solutions that are currently implemented in the testbed that will be brought to SCIROC.

Avanzamenti tecnologici in robot autonomi hanno raggiunto livelli eccellenti negli ultimi anni, grazie in buona parte alla maggiore diffusione dell’Intelligenza Artificiale. Se da un lato le innovazioni nell’ ambito della robotica di università e laboratori di tutto il mondo sono molte, c’è una notevole mancanza di benchmark capaci di determinare quali di queste tecnologie possono essere implementate nel mercato e quali invece hanno ancora bisogno di sviluppo. In questo contesto di continuo sviluppo di robot autonomi, il progetto MADROB mira a costruire una struttura per benchmark che segua i principi di EUROBENCH con lo scopo di identificare quali robot siano pronti per il. mercato. Questa tesi si concentra sul processo di sviluppo del progetto MADROB per robot autonomi: la prima parte descrive il progetto europeo EUROBENCH che è all’ origine del progetto MADROB. Le motivazioni e il contesto che hanno portato alla fondazione di entrambi questi progetti sarà spiegato nel dettaglio. La prima parte si concluderà con la descrizione della competizione SCIROC che avverrà dal 16 al 22 settembre 2019 e le motivazioni per portare MADROB: raccogliere dati dai robot che eseguono il test e perfezione la struttura. Una volta che le motivazioni e lo scopo del progetto sono stati descritti, la tesi si concentrerà sul descrivere la procedura di benchmark e la letteratura che è stata seguita per programmare il benchmark. Verranno fatti riferimenti alle linee guida sia di EUROBENCH che della competizione RoCKIn del 2014. In conclusione l’ultima parte descriverà il design della struttura per i test, descrivendo inizialmente il primo progetto, i suoi problemi e le soluzioni adottate per risolvere i problemi che saranno portate e SCIROC.