Cable connector orientation estimation for dual-arm robotic insertion operation

Nowadays, one of the main challenges in the field of industrial robotics is the definition of methods dedicated to wire manipulation. This is because a cable is an element which, along its main direction, has infinite degrees of freedom, consequently making the interaction with this non-trivial. Things become even more complex if a rigid body is added to this deformable base. This is the case of SDLOs (acronym for Semi-Deformable Linear Objects). A possible solution to solve this problem is the use of dual-arm manipulators, characterized by greater dexterity in manipulating objects, combined with vision systems to allow the robot to locate and interact with the cable. This thesis fits into this context and aims to find a solution to the problem of estimating the orientation of the connector of a cable gripped by the robot, to allow the latter to bring it to a desired position and plug it into a suitable socket. The manipulator used is the IRB-14000 called Yumi together with the Microsoft LifeCam Cinema camera. The choice to use a 2D camera, together with standard computer vision instead of machine learning approaches, was made to build a method that was easy to use and versatile, capable of adapting to different setups and various connectors, without training times or prolonged execution. The proposed method, starting from the edges of the front surface of the connector extracted using the Canny algorithm, defines the rotation angle of the connector itself and extracts its contour to allow it to be compared with a predefined goal position, from which the cable can be manipulated in a known way. A set of connectors was also tested in practice to verify the performance of the method, subsequently analyzing any critical issues that could lead to a reduction in the success rate.

Oggigiorno, una delle principali sfide nel campo della robotica industriale è la definizione di metodi dedicati alla manipolazione di cavi. Questo perché un cavo è un elemento che, lungo la sua direzione principale, ha infiniti gradi di libertà, rendendo di conseguenza l'interazione non banale. Le cose diventano ancor più complesse se a questa base deformabile si aggiunge un corpo rigido. E' questo il caso degli SDLO (acronimo per Semi-Deformable Linear Objects). Una possibile soluzione per risolvere questo problema è l'utilizzo di manipolatori dual-arm, caratterizzati da una maggior destrezza nel manipolare gli oggetti, combinati con sistemi di visione per permettere al robot di individuare ed interagire con il cavo. In questo contesto si inserisce la presente tesi, che si pone l'obiettivo di trovare una soluzione al problema di stimare l'orientamento del connettore di un cavo afferrato dal robot, per permettere a quest'ultimo di portarlo in una posizione desiderata ed inserirlo in una apposita presa elettrica. Il manipolatore utilizzato è l'IRB-14000, chiamato Yumi, in combinazione con la fotocamera Microsoft LifeCam Cinema. La scelta di utilizzare una fotocamera 2D, con algoritmi di computer vision, non di machine learning, è stata fatta per costruire un metodo che fosse di facile utilizzo e versatile, capace di adattarsi a diversi setup e vari connettori, senza tempi di training o esecuzione prolungati. Il metodo proposto, partendo dai bordi della superficie frontale del connettore estratti tramite l'algoritmo di Canny, definisce l'angolo di rotazione del connettore stesso e ne estrae il contorno per permettere di confrontarlo con una posizione desiderata predefinita, da cui poter manipolare il cavo in maniera nota. Sono stati effettuati test su una serie di connettori per verificare le prestazioni del metodo, analizzando eventuali criticità che possono portare ad una riduzione della percentuale di successo.