Robust shape tracking of a Deformable Linear Object manipulated by a dual-arm robot

A large number of industrial, household, and medical scenarios involve the manipulation of deformable linear objects (DLOs) such as cables, ropes, wires, and hoses. Manipulating deformable objects is a challenging task for robots, considering that they have an infinite number of degrees of freedom. In order to achieve accurate, robust and efficient manipulation, tracking of the DLO shape during the manipulation is crucial. This thesis proposes a vision algorithm to track in 3D the shape of a DLO, manipulated by a dual-arm robot in an industrial scenario, where different kinds of DLOs are scattered on the worktable. In particular, with reference to the occlusions caused by objects with the same color of manipulated DLO, this thesis proposes also a methodology to deal with this type of occlusion, beyond those caused by objects with different colors. The creation of a depth filter allows to isolate the manipulated DLO from the background, which can dynamically change. Further to the construction of the point-cloud, the grippers poses acquired from the robot are added to it. The obtained points are fitted in 3D, solving two Lasso regression problems, in x-z and x-y planes, giving as output the tracked shape. The proposed method does not rely on a physical simulation or physical model of the DLO, and uses only the acquired data by the camera and the grippers poses. The experiments performed prove the robustness of the method to several DLOs, which differ in color, length, and rigidity. In particular, during the experimental validation, they are manipulated by a real dual-arm robot in different configurations.

Un gran numero di scenari industriali, casalinghi e medici coinvolgono la manipolazione di oggetti deformabili lineari (DLOs) come cavi, corde, funi e tubi. La manipolazione dei DLO è un compito impegnativo per i robot, considerando che questi hanno un numero infinito di gradi di libertà. Al fine di ottenere una manipolazione accurata, robusta ed efficiente, il monitoraggio della forma dei DLO durante la manipolazione è cruciale. Questa tesi propone un algoritmo di visione per rilevare in 3D la forma dei DLO, manipolati da un robot a due braccia in un ambiente industriale, dove sono sparsi differenti tipi di DLO sul tavolo da lavoro. In particolare, con riferimento alle occlusioni causate da corpi dello stesso colore del DLO manipolato, la tesi propone anche un metodo per gestire tale tipo di occlusioni oltre a quelle causate da un oggetto con colore diverso. La creazione di un filtro di profondità permette di isolare il DLO manipolato dallo sfondo che può essere soggetto a cambiamenti. Successivamente alla costruzione della point-cloud, vengono aggiunte le posizioni dei gripper acquisite dal robot. I punti risultanti poi sono interpolati in 3D, risolvendo due problemi di regressione lineare (Lasso) nei piani x-z e x-y, rilevando in tal modo la forma tracciata. Il metodo proposto non si affida a un modello fisico o a dei simulatori fisici del DLO, ma usa solo i dati acquisiti dalla telecamera e le posizioni dei gripper. I risultati sperimentali ottenuti mostrano la robustezza della metodologia per diversi tipi di DLO, che differiscono per colore, lunghezza e rigidezza. In particolare, durante la validazione, i DLO sono manipolati in diverse configurazioni da un robot a due braccia.