People detection and tracking from a small footprint mobile ground robot using an RGB-D sensor

Small-footprint mobile ground robots are becoming increasingly popular as reference platform for robotic researches. In fact, they are relatively cheap, easily transportable thanks to their small size and little weight, power efficient and most of them are also provided with some basic moving and sensing equipment (along with low-level software functionalities) that represents a convenient starting point for implementing and testing new algorithms. Moreover, this typology of robots can be found in several commercial appliances that are affecting the everyday life of a growing number of families in tasks such as vacuum cleaning, lawn mowing and children entertainment. Such small-sized robots are by necessity equipped with sensors which lie close to the ground. Reliably detecting and tracking people from this viewpoint is a challenging problem, whose solution is a key requirement for many applications involving sharing of common spaces and close human-robot interaction. We present a robust solution for cluttered and unstructured indoor environments, using an inexpensive RGB-D sensor such as the Microsoft Kinect or Asus Xtion. Our machine-learning based system is able to detect and track multiple people even in difficult scenarios, where occlusions are frequent and several complex objects could cause potential false detections. We have also created evaluation datasets to quantitatively analyze the performance of the system and to allow an effective comparison with both existing state-of-the-art and future works. A real-time, open-source, ROS-enabled implementation is available and has been successully deployed on two different robot platforms: Turtlebot, a small wheeled commercial robot supplied to us by the Istituto Dalle Molle di Studi sull’Intelligenza Artificiale (IDSIA), and StarlETH, a small quadruped robot developed at the Swiss Federal Institute of Technology Zurich (ETH).

Nell'ambito della ricerca robotica si registra un interesse crescente verso robot mobili di piccole dimensioni ed ingombro limitato, i quali vengono spesso scelti come piattaforme di riferimento su cui sperimentare nuove idee e funzionalità. La loro praticità, il loro costo contenuto, la possibilità di poterli trasportare facilmente, il loro peso ridotto ed il conseguente minor fabbisogno energetico, la dotazione, per la maggior parte di essi, di un sistema basilare di attuazione e di percezione, li rendono un ottimo punto di partenza per esplorare la fattibilità ed analizzare le prestazioni di nuovi algoritmi. Inoltre, è possibile ritrovare questa tipologia di robot anche in vari prodotti commerciali sempre più diffusi nelle nostre case, ad esempio quelli rivolti a lavori domestici che possono essere facilmente automatizzati, come la pulizia del pavimento o il taglio dell’erba del giardino, nonché all’intrattenimento dei bambini. I sensori di cui questi robot sono forniti devono essere inevitabilmente posizionati vicino al pavimento. Riuscire ad individuare e seguire correttamente il movimento delle persone presenti nell'ambiente, avendo a disposizione solamente le informazioni percepite da un punto di vista così basso, si rivela un problema molto complesso. Una sua soluzione è però necessaria in quanto rappresenta un requisito di fondamentale importanza per poter favorire lo sviluppo di tutte quelle applicazioni che prevedono un'interazione ravvicinata tra il robot e le persone, in particolare quando questi devono condividere in modo efficiente degli spazi comuni. Il nostro lavoro rappresenta una soluzione al problema appena citato, applicabile ad ambienti interni, non strutturati e caratterizzati dalla presenza di più persone e di vari oggetti. L'input del sistema è fornito da un sensore RGB-D, come Microsoft Kinect o Asus Xtion, e l’approccio basato su machine-learning permette di identificare le persone e distinguerle da altri ostacoli, anche negli scenari in cui le occlusioni sono frequenti e molti oggetti, visibili solo in parte, potrebbero dar luogo ad un'errata classificazione. Al fine di analizzare quantitativamente le prestazioni del sistema e permettere un confronto sia con lavori esistenti, sia con quelli futuri, abbiamo realizzato e messo a disposizione alcuni dataset comuni per la valutazione. L'implementazione finale del sistema, contenente gli algoritmi sviluppati e descritti in questa tesi, si caratterizza per essere real-time, open-source e per la possibilità di essere facilmente integrata in robot basati sul middleware ROS. Grazie a quest'ultima funzionalità, in particolare, è stato facilmente possibile verificare le prestazioni complessive anche su due robot reali: Turtlebot, un piccolo robot commerciale dotato di ruote messo a nostra disposizione dall’Istituto Dalle Molle di Studi sull’Intelligenza Artificiale (IDSIA), e StarlETH, un piccolo robot quadrupede sviluppato presso l’università Swiss Federal Institute of Technology Zurich (ETH).