DynDLO: learning policies for Robotic Dynamic Manipulation of DLOs

This thesis investigates the dynamic manipulation of Deformable Linear Objects (DLOs), such as cables and wires, which present a unique challenge in robotics due to their flexibility, non-linear behavior, and infinite number of degrees of freedom. Traditional model-based approaches for DLO manipulation struggle with dynamic tasks due to the high complexity and computational demands of accurate physical modeling. Recent advancements in Reinforcement Learning (RL) offer promising model-free alternatives, capable of learning manipulation tasks without the need of using cable models to decide the action to apply. This work introduces DynDLO, a modular Reinforcement Learning framework built using the MuJoCo simulation engine, designed to train RL agents for dynamic DLO manipulation tasks. The framework features a novel trajectory planning approach to map agent-chosen actions to smooth Cartesian trajectories. Once executed by the robot's end-effector, such trajectories excite cable dynamics so as to exploit oscillations to perform dynamic manipulation tasks. Key contributions include a versatile reward function structure that generalizes across multiple manipulation tasks, and a new trajectory planning strategy based on spline interpolation, which generates efficient manipulator motions able to induce oscillations of various amplitude in the DLO. The effectiveness of the proposed framework is validated in both simulation and in a real experimental setup comprising an ABB GoFa CRB15000 manipulator. Results show that the RL agents trained only in simulation using the DynDLO framework successfully complete different dynamic manipulation tasks, even achieving high success rates when transferred to a real manipulator in some cases. Future work is going to focus on refining the sim-to-real transfer capabilities of DynDLO and exploring the possibility to train RL agents for more complex DLO dynamic manipulation scenarios.

La presente tesi esplora la manipolazione dinamica di Oggetti Lineari Deformabili (DLO), come cavi e fili, la quale rappresenta una sfida unica nell'ambito della robotica a causa della flessibilità, del comportamento non lineare e dell’infinito numero di gradi di libertà posseduti da questi oggetti. Tecniche tradizionali, basate su modelli di DLO, falliscono in questo tipo di manipolazione, mentre i recenti progressi nel Reinforcement Learning (RL) offrono alternative promettenti per la manipolazione dinamica dei DLO, senza richiedere modelli espliciti dell'oggetto da manipolare. Questa tesi introduce DynDLO, un framework modulare di RL sviluppato utilizzando la suite di simulazione MuJoCo, progettato per addestrare agenti di RL nella manipolazione dinamica di DLO. Il framework implementa un innovativo metodo di pianificazione della traiettoria in grado di mappare le azioni scelte da un agente in traiettorie Cartesiane per l'end-effector del robot. Tali traiettorie eccitano le dinamiche del cavo in modo tale che le oscillazioni indotte possano essere sfruttate per svolgere diversi compiti. I principali contributi della tesi includono una struttura per la funzione di reward unificata, in grado di generalizzare su svariati compiti, e una nuova strategia di pianificazione della traiettoria basata su interpolazione tramite spline, capace di indurre oscillazioni nel DLO manipolato. L’efficacia del framework è validata sia in simulazione, sia su un vero banco di prova sperimentale con un manipolatore ABB GoFa CRB15000. I risultati dimostrano che agenti di RL allenati soltanto in simulazione con DynDLO sono in grado di completare diversi obiettivi di manipolazione dinamica, in alcuni casi mantenendo una percentuale di successo elevata quando lo stesso problema è replicato nel setup sperimentale. Futuri sviluppi si concentreranno sul perfezionamento delle capacità di trasferimento dell'agente da ambiente simulato ad ambiente reale e sull’esplorazione di ulteriori possibilità in cui il RL può essere utilizzato per svolgere compiti di manipolazione dinamica di DLO più complessi.