Once a multi-robot system is implemented on real hardware and tested in the real world, analyzing its evolution and debugging unexpected behaviors is often a very difficult task. In this thesis we present a tool for aiding this activity, by visualizing an Augmented Reality overlay on a live video feed acquired by a fixed camera overlooking the robots environment. Besides tracking data, such overlay displays live information exposed by each robot, which may be textual, such as messages concerning the robot's state, or spatially-situated data describing the physical environment surrounding the robot itself. These include, for example, the perceived position of neighboring robots, the perceived extent of obstacles, the path the robot plans to follow. We show how by directly representing such information on the environment it significantly eases the process of understanding complex multi-robot systems. We describe in details the two main components of the system, namely, the 2D visual tracker for identifying and tracking robots and the interactive augmented reality overlay for displaying live information. The whole system has been implemented as a cross-platform multithreaded C++ application both in centralized and distributed fashion. We present the software architecture and discuss in depth the most interesting implementation details, with particular emphasis on the tracker module and the augmented reality engine. Finally, we report and analyze the evaluation results of the tracking algorithm. This work will be presented at the 2014 IEEE/RSJ International Conference on Intelligent Robots and Systems (IROS 2014) that will be held in Chicago, Illinois, USA, 14 to 18 September 2014.
Una volta che un sistema multi-robot è stato implementato ed installato su hardware reale, analizzarne l'evoluzione e trovare le cause di eventuali comportamenti inattesi è spesso un compito arduo. In questa tesi presentiamo uno strumento per semplificare questa attività mediante la creazione di contenuti di realtà aumentata, i quali vengono visualizzati in sovrapposizione al video ripreso da una telecamera fissa. Oltre alle informazioni di tracking, il sistema visualizza i dati ricevuti dai robot in tempo reale. Questi ultimi si suddividono in messaggi testuali che descrivono lo stato del robot, oppure informazioni spaziali inerenti l'ambiente intorno al robot, quali ad esempio la posizione di altri robot circostanti, la presenza di ostacoli, oppure il percorso che il robot intende seguire. Mostriamo come la visualizzazione di queste informazioni possa agevolare sensibilmente la comprensione di sistemi multi-robot complessi. Descriviamo in dettaglio i due componenti principali del sistema, ovvero il tracker visuale 2D per l'identificazione e il tracking dei robot e i componenti del livello interattivo di realtà aumentata per la visualizzazione di informazioni in tempo reale. L'intero sistema è stato implementato in C++ e sono state create due applicazioni multi-piattaforma e multi-thread: una centralizzata ed una distribuita. Presentiamo l'architettura software e descriviamo i dettagli implementativi di maggior interesse, con particolare enfasi sul tracker visuale e sul sistema di realtà aumentata. Infine riportiamo e analizziamo i risultati dei test dell'algoritmo di tracking. Questo lavoro verrà presentato alla Conferenza Internazionale 2014 IEEE/RSJ su Robot e Sistemi Intelligenti (IROS 2014) che si terrà a Chicago, Illinois, USA, dal 14 al 18 Settembre 2014.
Identification, tracking and augmented reality for multiple robots equipped with coded blinking leds
GHIRINGHELLI, FABRIZIO
2013/2014
Abstract
Once a multi-robot system is implemented on real hardware and tested in the real world, analyzing its evolution and debugging unexpected behaviors is often a very difficult task. In this thesis we present a tool for aiding this activity, by visualizing an Augmented Reality overlay on a live video feed acquired by a fixed camera overlooking the robots environment. Besides tracking data, such overlay displays live information exposed by each robot, which may be textual, such as messages concerning the robot's state, or spatially-situated data describing the physical environment surrounding the robot itself. These include, for example, the perceived position of neighboring robots, the perceived extent of obstacles, the path the robot plans to follow. We show how by directly representing such information on the environment it significantly eases the process of understanding complex multi-robot systems. We describe in details the two main components of the system, namely, the 2D visual tracker for identifying and tracking robots and the interactive augmented reality overlay for displaying live information. The whole system has been implemented as a cross-platform multithreaded C++ application both in centralized and distributed fashion. We present the software architecture and discuss in depth the most interesting implementation details, with particular emphasis on the tracker module and the augmented reality engine. Finally, we report and analyze the evaluation results of the tracking algorithm. This work will be presented at the 2014 IEEE/RSJ International Conference on Intelligent Robots and Systems (IROS 2014) that will be held in Chicago, Illinois, USA, 14 to 18 September 2014.| File | Dimensione | Formato | |
|---|---|---|---|
|
2014_07_Ghiringhelli.pdf
accessibile in internet solo dagli utenti autorizzati
Descrizione: Testo della tesi
Dimensione
12.54 MB
Formato
Adobe PDF
|
12.54 MB | Adobe PDF | Visualizza/Apri |
I documenti in POLITesi sono protetti da copyright e tutti i diritti sono riservati, salvo diversa indicazione.
https://hdl.handle.net/10589/94081