6D pose estimation and re-orientation for connector insertion in robotic cable manipulation

In recent years, industrial robotics has made remarkable progress, expanding its field of application toward increasingly complex tasks that demand dexterity, adaptability, and precision. Among these, the manipulation of semi-deformable objects, such as cables equipped with rigid connectors, represents a particularly challenging problem due to the high number of degrees of freedom and the difficulty of estimating and controlling shape and orientation during interaction. This thesis addresses the problem of 6D pose estimation and re-orientation of connectors for automated insertion, proposing a strategy that combines vision-based and tactile sensing techniques to achieve an affordable, lightweight, and easily generalizable system. The proposed approach relies on a single RGB-D camera mounted on the robot wrist and a tactile sensor integrated into a two-finger gripper. Visual perception is performed through a YOLO11 neural network, trained to recognize characteristic keypoints on the connector surface, from which the full 6D pose is reconstructed. The tactile sensor is then used to refine the connector orientation after grasping, compensating for errors caused by slippage or cable deformation. The entire system has been experimentally validated through grasping and insertion tests using a single-arm manipulator, demonstrating good accuracy and robustness.

Negli ultimi anni la robotica industriale ha compiuto notevoli progressi, ampliando il proprio campo di applicazione verso attività sempre più complesse che richiedono destrezza, adattabilità e precisione. Tra queste, la manipolazione di oggetti semi-deformabili, come i cavi dotati di connettori rigidi, rappresenta una sfida particolarmente complessa a causa dell’elevato numero di gradi di libertà e della difficoltà nello stimare e controllare forma e orientamento durante l’interazione. La presente tesi affronta il problema della stima della posa 6D e della re-orientazione del connettore per l’inserzione automatizzata, proponendo una strategia che coniuga tecniche di visione artificiale e sensorialità tattile per ottenere un sistema economico, leggero e facilmente generalizzabile. L’approccio proposto si basa sull’impiego di una singola telecamera RGB-D montata sul polso del robot e di un sensore tattile integrato su una pinza a due dita. La percezione visiva è affidata a una rete neurale YOLO11 opportunamente addestrata per il riconoscimento di punti caratteristici (keypoints) sulla superficie del connettore, a partire dai quali viene ricostruita la posa 6D. Successivamente, il sensore tattile viene impiegato per raffinare l’orientamento dopo la presa, compensando gli errori dovuti a slittamenti o deformazioni del cavo. L’intero sistema è stato validato sperimentalmente mediante prove di presa e inserzione usando un manipolatore a singolo braccio, dimostrando buona accuratezza e robustezza.