Robotic manipulation of deformable linear objects for assembly operations

In the last decades, industrial robotics has played a key role in revolutionizing manufacturing processes and enhancing productivity. Indeed, robots are widely used in several applications, including assembly, palletizing, machine tending, welding, packaging, and painting. Nevertheless, the objects that robots handle and interact with are mostly rigid. Even if the manipulation of deformable linear objects (DLOs), such as cables, wires and ropes, and of semi-deformable linear objects (SDLOs) (i.e. DLOs featuring one or more rigid parts, as connectors) is involved in countless applications, both in the industrial and household scenarios, the robotic manipulation of (S)DLOs still remains a complex challenge. It is indeed characterized by interesting problems that bridge different areas of robotics, including perception, simulation, control, and mechanics. For this reason, even if assembly processes involving (S)DLOs present repetitive and alienating operations, these tasks are fully executed by human operators nowadays, often resulting in bottlenecks in production. The formalization of methodologies to enable robots to manipulate (S)DLOs and hence execute assembly tasks would enhance their potentiality and lead to both economic and social benefits. This thesis aims at proposing new strategies to allow a robot to grasp, manipulate and assemble (S)DLOs, targeting the automation of the main phases of the whole assembly process. In particular, a vision-based strategy to grasp and perform bin picking of SDLOs is first proposed. Exploiting visual data, the connectors of SDLOs placed in a bin are detected and their poses are estimated together with their states, specifying if some other elements are overlapping the connector or not. Based on this information, a dual-arm robot is controlled to grasp a connector classified as free and extract the corresponding SDLO from the bin to then place it on the worktable. Subsequently, a vision algorithm is used to detect the connectors of the extracted SDLOs and associate them to the corresponding cables, allowing to firmly grasp a desired SDLO at its ends to further manipulate it. Once the (S)DLO is grasped, planning strategies are necessary to elaborate a manipulation path that, starting from an initial shape of the (S)DLO, allows to move it to a desired final shape in a location of the workspace where an assembly operation will be executed. A novel optimal model-based path planning strategy for (S)DLOs manipulation is proposed in this thesis. In particular, the manipulation is planned to avoid excessive deformation of the (S)DLO and collisions with obstacles. The methodology is based on a mass-spring model describing the deformation dynamics of an (S)DLO, enhanced to deal with a generic equilibrium condition of the (S)DLO and to model the interaction with robotic grippers and clips. Ultimately, cable assembly operations are considered, focusing in particular on cable routing and fixation. A methodology exploiting tactile sensors on the gripper fingertips is proposed to perform cable routing operations for (S)DLOs characterized by considerable stiffness, such as hoses, constrained at both ends. A different strategy is then proposed to manipulate (S)DLOs characterized instead by a low compression strength, as, for example, wires, in an unknown environment that constrains some of their degrees of freedom. Data coming from two force-torque sensors placed at the wrists of a dual-arm robot are exploited to manipulate the (S)DLO, keeping it in tension, and to estimate the pose of the environmental contacts encountered during the manipulation, classifying the kind of constraints that they enforce. Finally, a methodology to identify and grasp the connector of a SDLO to perform insertion and disconnection tasks is presented. Remarkably, no external sensors are required to implement this strategy: the detection of the connector is based on the estimated contact force acting on the robot's end effector while the gripper of the robotic arm slides along the contour of the SDLO, estimating its shape. The effectiveness of the methodologies discussed in this thesis has been experimentally validated in realistic industrial robotic scenarios.

Negli ultimi decenni, la robotica industriale ha ricoperto un ruolo chiave nella rivoluzione dei processi manifatturieri e nell'aumento della produttività. I manipolatori robotici sono infatti ampiamente utilizzati in diverse applicazioni, tra cui assemblaggio, pallettizzazione, asservimento macchina, saldatura, imballaggio e verniciatura. Tuttavia, gli oggetti con cui i robot interagiscono sono per la maggior parte rigidi. Anche se la manipolazione di oggetti lineari deformabili (DLOs), come cavi, fili e corde, e di oggetti lineari semi-deformabili (SDLOs) (cioè DLOs che presentano una o più parti rigide, come connettori) è richiesta in innumerevoli applicazioni sia industriali che domestiche, la manipolazione robotica degli (S)DLOs rimane ad oggi una sfida complessa. È infatti caratterizzata da problemi degni di nota che coinvolgono diverse aree della robotica, tra cui percezione, simulazione, controllo e meccanica. Per questo motivo, anche se i processi di assemblaggio che coinvolgono gli (S)DLOs presentano operazioni ripetitive e alienanti, attualmente queste attività vengono eseguite interamente da operatori umani, spesso causando rallentamenti nella produzione. La formalizzazione di metodologie per permettere ai robot di manipolare degli (S)DLOs e di eseguire quindi operazioni di assemblaggio aumenterebbe le loro capacità e porterebbe benefici sia economici che sociali. Questa tesi mira a proporre strategie innovative che consentano a un robot di afferrare, manipolare e assemblare degli (S)DLOs, con l'obiettivo di automatizzare le principali fasi dell'intero processo di assemblaggio. In particolare, una strategia basata su informazioni acquisite da un sensore di visione viene dapprima proposta per permettere di afferrare un SDLO e di estrarlo da un contenitore. Sfruttando i dati visivi acquisiti, i connettori appartenenti a degli SDLOs posti in un contenitore vengono rilevati e la loro posa viene stimata insieme al loro stato, che specifica se altri elementi si sovrappongono al connettore. Sulla base di queste informazioni, si controlla un robot a due braccia per afferrare un connettore classificato come libero, estraendo dal contenitore il corrispondente SDLO, per poi posizionarlo sul piano di lavoro. Successivamente, un algoritmo di visione è utilizzato per individuare i connettori degli SDLOs estratti e associarli ai corrispettivi cavi, consentendo di afferrare saldamente un dato SDLO alle sue estremità per poter eseguire poi ulteriori manipolazioni. Una volta afferrato un (S)DLO, è necessario introdurre delle strategie per pianificare un percorso di manipolazione che, partendo dalla forma iniziale del (S)DLO, consenta di fargli assumere una forma finale desiderata in uno spazio predefinito dell'area di lavoro dove dovrà essere eseguita una operazione di assemblaggio. In questa tesi viene proposta una strategia innovativa per pianificare in modo ottimo la manipolazione di (S)DLO, basandosi su un modello dinamico. In particolare, la manipolazione viene pianificata evitando deformazioni eccessive del cavo e collisioni con ostacoli. Questa metodologia è basata su un modello massa-molla che descrive la dinamica di deformazione di un (S)DLO. Tale modello viene migliorato in questa tesi per poter correttamente considerare una generica condizione di equilibrio per il (S)DLO e per modellare l'interazione del (S)DLO con pinze robotiche ed oggetti come clip. Infine, la tesi affronta le operazioni riguardanti l'assemblaggio di cavi, concentrandosi in particolare sulle operazioni di instradamento di cavi e di fissaggio. Viene proposta una metodologia che sfrutta sensori tattili montati sulle dita della pinza per eseguire operazioni di cablaggio che coinvolgono degli (S)DLOs caratterizzati da una considerevole rigidità, come tubi, vincolati ad entrambe le estremità. Si propone poi una strategia differente per manipolare degli (S)DLOs caratterizzati invece da una bassa resistenza alla compressione, come ad esempio i fili, in un ambiente sconosciuto che vincola alcuni dei loro gradi di libertà. I dati provenienti da due sensori di forza e coppia posizionati sui polsi di un robot a due braccia vengono sfruttati per manipolare il (S)DLO, mantenendolo in tensione, e per stimare la posa dei contatti ambientali incontrati durante la manipolazione, classificando il tipo di vincoli imposti. Infine, viene presentata una metodologia per identificare e afferrare il connettore di un SDLO per poi eseguire operazioni di inserimento e disconnessione. Non sono necessari sensori esterni per implementare tale strategia: la rilevazione del connettore si basa sulla stima della forza di contatto agente sull'organo finale del robot, mentre il gripper del braccio robotico scorre lungo il contorno del SDLO, stimandone la forma. L'efficacia delle metodologie discusse in questa tesi è stata validata sperimentalmente in scenari realistici di robotica industriale.