Methodologies for benchmarking of robot tasks and systems

When the performance of robot functionalities and robot software components is evaluated, functionalities and software components are usually assumed independent from characteristics of the robot system and environment in which they operate. However, these aspects influence the performance, e.g., the performance of a software component implementing a robot functionality depends on the robot system configuration, such as which sensors are used, the sensor properties, or the robot platform kinematics, characteristics of the environment where the robot operates, and the component configuration parameters. This thesis proposes a benchmarking methodology which models the impact of the characteristics of the robot system and its environment on the performance of functionalities and their implementation as software components. However, measuring the performance of a software component for every combination of the variables which influence the performance would be untractable. To make the problem tractable, we propose to sample a relatively small number of combinations, conduct experiments for each of them, and from these results estimate a statistical model of the software component performance, which we call component performance model. To study the performance dependency between components, we build component performance models for multiple functionalities of a robot system. A performance model allows the comparison of different components implementing the same functionality to determine the best one to be used in a given setting and its optimal configuration. Moreover, the performance models enable us to predict the performance of a robot system given the performance models of its components. Two case studies illustrate application of this methodology to extract performance models: a first case study about benchmarking the Simultaneous Localization and Mapping (SLAM) functionality and the second case study focusing on an autonomous navigation system composed of a localization component and a navigation component.

Quando viene valutata la performance delle funzionalità di robot e di componenti software dei robot, le funzionalità e i componenti software sono solitamente considerati indipendenti dalle caratteristiche del sistema del robot e dall'ambiente in cui operano. Tuttavia, questi aspetti influenzano le prestazioni, ad esempio, le prestazioni di un componente software che implementa una funzionalità del robot dipendono dalla configurazione del sistema del robot, ad esempio quali sensori vengono utilizzati, le proprietà del sensore o la cinematica della piattaforma del robot, le caratteristiche dell'ambiente in cui il funzionamento del robot e i parametri di configurazione del componente. Questa tesi propone una metodologia di benchmarking che modella l'impatto delle caratteristiche del sistema robotico e del suo ambiente sulla performance delle funzionalità e sulla loro implementazione come componenti software. Tuttavia, misurare la performance di un componente software per ogni combinazione delle variabili che la influenzano sarebbe irrealizzabile. Per rendere trattabile il problema, proponiamo di campionare un numero relativamente piccolo di combinazioni, condurre esperimenti per ciascuna di esse e, a partire da questi risultati, stimare un modello statistico della performance del componente software, che chiamiamo component performance model. Per studiare la dipendenza della performance tra i componenti, costruiamo performance model dei componenti per molteplici funzionalità di un sistema robotico. Un performance model consente il confronto di diversi componenti che implementano la stessa funzionalità per determinare quello migliore da utilizzare in una data situazione e la sua configurazione ottimale. Inoltre, i modelli di performance ci consentono di prevedere le prestazioni di un sistema robotico dati i performance model dei suoi componenti. Due casi di studio illustrano l'applicazione di questa metodologia per costruire performance model: un primo caso di studio sul benchmarking della funzionalità Simultaneous Localization and Mapping (SLAM) e il secondo caso di studio incentrato su un sistema di navigazione autonomo composto da un componente di localizzazione e un componente di navigazione.