A method for predicting the performance of SLAM algorithms

One of the main goals of autonomous mobile robotics is the development of robots that are able to act independently from continuous human control and efficiently operate in their environments. In many cases, this requires a robot to build a map of its surroundings while simultaneously keeping track of its position within it, a task that is known as Simultaneous Localization And Mapping (SLAM). The relevance of this problem has led the research community to develop a huge number of SLAM algorithms and to propose several methods for their evaluation. However, such evaluation methods are designed to operate on already collected data and cannot predict the expected performance of a SLAM algorithm on a yet to be explored environment. The goal of this thesis is to take a first step towards overcoming the limitations of the current SLAM evaluation techniques by developing a software tool that employs known features of unexplored environments to predict the performance of SLAM algorithms in those environments, without requiring the availability of already collected data. The proposed method uses automatized robotic simulations to collect the performance measures of a SLAM algorithm on a number of environments, builds a model of the relationship between the measured performance values and the features of the environments, and exploits such model to predict the performance of the algorithm in unseen environments, starting from the analysis of their features. We investigate the usage of several types of environmental features and models based on regression methods, and we assess their performance in different evaluation scenarios. Our results on both simulated environments and real robot experiments show that our approach is able to adequately capture the relationship between an environment's structure and SLAM performance and to predict the performance of a SLAM algorithm in an unseen environment with high accuracy.

Uno dei principali obiettivi della robotica mobile autonoma è lo sviluppo di robot che siano in grado di agire indipendentemente dal controllo umano e di operare in modo efficiente nell'ambiente in cui si trovano. In molti casi, ciò richiede che il robot abbia la capacità di costruire una mappa dell'ambiente e, simultaneamente, di localizzarsi al suo interno, un compito che è noto con il nome di Simultaneous Localization And Mapping (SLAM). L'importanza di questo problema ha spinto la comunità scientifica a sviluppare un elevato numero di algoritmi SLAM e a proporre una vasta gamma di soluzioni per la valutazione delle loro prestazioni. Tali soluzioni sono però utilizzabili solo per valutazioni a posteriori su dati già collezionati e non permettono di fare previsioni sulla prestazione attesa di un algoritmo SLAM su un ambiente non ancora visitato. L'obiettivo di questa tesi è di contribuire a colmare questa lacuna mediante lo sviluppo di uno strumento software che permetta la predizione della prestazione attesa di un algoritmo SLAM su un ambiente non ancora visitato, sulla base di caratteristiche note dell'ambiente stesso. Il nostro metodo utilizza simulazioni robotiche automatizzate per misurare le prestazioni di un algoritmo SLAM su un dato insieme di ambienti, costruisce un modello della relazione tra i valori misurati e le caratteristiche degli ambienti in cui sono stati osservati, e utilizza tale modello per predire la prestazione attesa dell'algoritmo SLAM in nuovi ambienti partendo dalle loro caratteristiche. Il nostro studio considera diverse caratteristiche per descrivere gli ambienti e molteplici metodi di regressione per costruire i modelli, e prevede l'analisi delle loro prestazioni in diversi scenari di valutazione. I risultati ottenuti sia in ambienti simulati sia in esperimenti con robot reali mostrano che il nostro metodo è in grado di catturare in modo adeguato la relazione esistente tra la struttura di un ambiente e la corrispondente prestazione di un algoritmo SLAM, e di predire la prestazione dell'algoritmo SLAM in un nuovo ambiente con notevole accuratezza.