Teleoperation of a dual-arm manipulator using hands' tracking

The control of robotic arms is typically performed according to one of two operating modes. A first option consists in programming a specific task, performed by the manipulator according to the relative computer code. In this case the robot will continuously carry out the same job without any kind of variation. Otherwise it is possible to control the robotic arm with a real-time input. In such case it will be possible to perform a wide range of tasks by defining a single operational configuration. Such real-time control can be realised by many means, the most popular of which is by using specialised joysticks that allow human operators to communicate the desired position and orientation to the manipulator. Anyway, the use of joysticks, despite the many notable improvements during the years, still presents significant drawbacks in terms of versatility and learning curve. In the following it will be then presented an alternative to the use of joysticks, consisting in the exploitation of an optical device of new generation called Leap Motion. The Leap Motion is a sensor which comes in the form of a USB peripheral. It is designed to be placed on a physical desktop and it uses two cameras and three infrared LEDs in order to observe, up to a distance of 1 meter, an area that is 150◦ wide. The Leap Motion manages to elaborate the data coming from the cameras and the LEDs in such a way to synthesize 3D position and orientation of the user’s hands. With this kind of approach it is possible to achieve a significantly higher level of accuracy with respect to other technologies when it comes to tracking hand’s movements. The idea is then to perform a real-time control of the manipulator’s motion by inputting the control system with the data caught by the Leap Motion. In this way the end-effector of the robotic arm will perform a specular copy of the motion of the hands of the human operator that is interfacing with the robot. Considering that the Leap Motion is capable to acquire data from both human’s hands, distinguishing among left and right, it will be possible to control both arms of a dual-arm manipulator simultaneously. The proposed system is represented in Fig.1.1, where the interaction between human and robot has been schematized. The present thesis work is then dedicated at presenting the main problematics that arise when realizing such kind of control framework and at proposing effective solutions to them. In particular, the real-time control by Leap Motion has been tested with reference to a pair of 6 degrees of freedom manipulators. The experiments have been conducted both in a simulation environment and on the real machine. The robot’s behavior has in fact been tested in a customised simulation software first and on a Epson C3 – A600 SR dual-arm manipulator, commercialised by Seiko, secondly. In addition, in order to interact with the robotic system, a software interface has been developed, which exploits the INTime operating system that is the operating system used also by the manipulator itself.

Il controllo in tempo reale di un sistema robotico consente di eseguire una vasta gamma di operazioni tramite la definizione di una sola configurazione di sistema. Nel caso specifico di un manipolatore, `e possibile ricorrere all’utilizzo di diverse tecnologie per ottenere l’input in real-time. Tipicamente vengono utilizzate differenti tipologie di joystick, che consentono agli operatori umani di comunicare la posizione e l’orientamento desiderati per l’end-effector. Tali joysticks, pero`, presentano alcuni significativi inconvenienti in termini di versatilit`a e curva di apprendimento. Nel seguito verr`a quindi presentata un’alternativa all’uso dei joysticks, consistente nello sfruttamento di un dispositivo ottico di nuova generazione chiamato Leap Motion. Il Leap Motion `e un sensore che si presenta sotto forma di periferica USB e che `e stato progettato per essere posizionato su di un desktop fisico, sopra al quale si muovono le mani di un operatore umano. Esso utilizza due telecamere e tre LED a infrarossi per osservare, fino a una distanza di 1 metro, un’area ampia fino a 150◦. I dati provenienti dalle telecamere e dai LED sono elaborati in modo tale da sintetizzare la posizione e l’orientamento 3D delle mani che si muovono sopra di essi. Con questo tipo di approccio `e possibile raggiungere un livello di precisione piu` elevato rispetto a quanto ottenibile con altre tecnologie che si occupano di tracciare i movimenti delle mani. L’idea `e dunque quella di controllare in tempo reale i movimenti di un manipolatore, inserendo in input al sistema i dati catturati dal Leap Motion. In questo modo l’end-effector del braccio robotico eseguira` una copia speculare della traiettoria della mano umana che si muove sopra al sensore. Considerando che il Leap Motion `e in grado di acquisire i dati di entrambe le mani dell’uomo, distinguendo tra destra e sinistra, sar`a possibile controllare contemporaneamente entrambi gli arti di un manipolatore a doppio braccio. Il sistema proposto `e rappresentato in Fig.1.1, dove `e stata schematizzata l’interazione tra uomo e robot. Il presente lavoro di tesi `e quindi dedicato alla presentazione delle principali problematiche e delle possibili soluzioni relative alla realizzazione di tale tipo di struttura di controllo. In particolare, il controllo in tempo reale tramite Leap Motion `e stato testato su di una coppia di bracci robotici a 6 gradi di liberta`. Gli esperimenti sono stati condotti sia in un ambiente di simulazione che su di una macchina reale. Il comportamento del robot `e stato infatti testato prima mediante un ambiente di simulazione personalizzato e poi su un manipolatore dual-arm Epson C3 - A600 SR, commercializzato da Seiko. Inoltre, al fine di interagire con il sistema robotico, `e stata sviluppata un’interfaccia software che sfrutta il sistema operativo INTIME, che `e il sistema operativo utilizzato anche dal manipolatore stesso.