A deep reinforcement learning approach to fold a towel by means of a robotic arm

In the field of robotic manipulation, it is common to encounter applications that deal with solid objects. This branch has been thoroughly studied and many tasks can be solved. On the other hand, the area regarding the handling of deformable objects is still in its early stages, because of the difficulty to deal with the large change in the configuration resulting from manipulation attempts, and the difficulty to accurately model the object behaviour. Recently, some studies in the field of machine learning have elaborated new, model-free methods to try to overcome those problems. The aim of this work is to build an Artificial Intelligence system, that can learn how to autonomously fold a towel by means of a Reinforcement Learning approach combined with a single robotic arm manipulator and a vision system. The training phase is performed in a simulated environment, since it is extremely time and resource consuming to obtain experience on a real robot. First, the virtual environment is created using a 3D physics engine. After that, the deep Reinforcement Learning Algorithm known as Deep Deterministic Policy Gradient (DDPG), is tuned and included in the learning framework. It will train an agent through a trial and error approach that exploits the past experiences it has collected, and some human based demonstrations. At the end of the training phase, the agent is able to perform and complete the folding task most of the times. In the end, the trained model is validated experimentally in a real world application. In the real scenario the agent folds the towel by means of a robotic arm, obtaining a good success even in a real contest.

Nel campo della manipolazione robotica, è comune incontrare applicazioni che si occupano di oggetti solidi. Questo ramo è stato approfonditamente studiato e molti compiti possono essere portati a termine. Al contrario, l’area che riguarda la manipolazione di oggetti deformabili è ancora in una fase precoce, a causa delle difficoltà riscontrate nell’interagire con un grande cambiamento nella configurazione dell’oggetto a seguito di tentativi di manipolazione, e nel modellare accuratamente il comportamento dell’oggetto in questione. Recentemente, alcuni studi nel campo del Machine Learning hanno elaborato nuovi metodi che non prevedono l’impiego di un modello, per provare a superare queste criticità. L’obiettivo di questo lavoro è lo sviluppo di un sistema ad Intelligenza Artificiale, in grado di imparare autonomamente come piegare un asciugamano, attraverso un metodo di Reinforcement Learning combinato con un singolo manipolatore robotico e un sistema di visione. La fase di addestramento è eseguita in un ambiente simulato, poiché ottenere esperienza con un robot reale, richiede una grande quantità di tempo e risorse. Come prima cosa, l’ambiente virtuale viene creato attraverso un motore fisico 3D. Dopodiché, l’algoritmo di Reinforcement Learning, noto come Deep Determinstic Policy Gradient (DDPG), viene ottimizzato e inserito nell’infrastruttura di apprendimento. In questo modo un agente verrà addestrato attraverso un processo di tentativi che sfrutta le esperienze precedentemente ottenute e alcune dimostrazioni umane. Al termine della fase di addestramento, l’agente è in grado di portare a termine il compito di piegatura la maggior parte delle volte. Infine, il modello addestrato viene validato sperimentalmente in una applicazione nel mondo reale. Nello scenario reale l’agente è in grado di piegare l’asciugamano attraverso un braccio robotico, ottenendo buoni risultati anche in questo contesto.