Benchmarking and Performance Modelling of local planners in ROS1

The evaluation of autonomous mobile robots performing tasks has recently received significant attention from the research community and the industry to provide a standardized way to evaluate the performance of different robot functionalities. Calculating the performance of a robot is of fundamental importance to realize intelligent autonomous robotic systems that provide effectiveness, safety, and reliability in various applications. Current benchmarking techniques are based on calculating the performance of a system by using some metric in well-defined cases. This does not provide enough information about how performance may vary in the cases not covered by benchmarking, especially why it assumes a specific pattern. The local planner is a component of an autonomous mobile robot that provides safe navigation by avoiding obstacles in the robot's vicinity using real-time sensor data. Within this context, in this work, we present the Local Planner Performance Model, a performance model for estimating the performance of the local planner for robot navigation through a set of metrics that capture various aspects of the local planner. A performance model is a mathematical model that predicts the performance of a component based on various factors depending on the system, such as sensors, actuators, control algorithms, and the complexity imparted by the environment. Using simulations conducted with specific configuration parameters, we gather the data to make statistical inferences about the performance of the local planners and draw conclusions about which local planner performs better in different circumstances.

La valutazione dell'esecuzione di compiti da parte di robot mobili autonomi ha recentemente ricevuto un'attenzione notevole da parte della comunità di ricerca e dall'industria, per fornire un modo standardizzato di valutare le prestazioni delle diverse funzionalità dei robot. Il calcolo delle prestazioni di un robot è di fondamentale importanza per realizzare sistemi robotici autonomi intelligenti che garantiscano efficacia, sicurezza e affidabilità in varie applicazioni. Le attuali tecniche di benchmarking si basano sul calcolo delle prestazioni di un sistema utilizzando alcune metriche in casi ben precisi. Ciò non fornisce sufficienti informazioni su come la prestazione possa variare nei casi non coperti dal benchmarking, soprattutto sul perché assuma un determinato andamento. Il local planner è un componente di un robot mobile autonomo che fornisce una navigazione sicura evitando gli ostacoli nelle vicinanze del robot utilizzando i dati dei sensori in tempo reale. In questo contesto, in questo lavoro, presentiamo il Local Planner Performance Model, un modello di prestazione per stimare le prestazioni del local planner per la navigazione robotica attraverso un insieme di metriche che catturano vari aspetti del local planner. Un modello di performance è un modello matematico che prevede le prestazioni di un componente in base a vari fattori che dipendono dal sistema, come sensori, attuatori, algoritmi di controllo e la complessità impartita dall'ambiente. Utilizzando simulazioni condotte con parametri di configurazione specifici, raccogliamo i dati per fare inferenze statistiche sulle prestazioni dei local planner e trarre conclusioni su quale local planner si comporti meglio in circostanze diverse.