Reinforcement learning-based robotic grasping via domain randomization through first-person camera view

Generalizing robotic grasping has always been a very challenging task due to the difficulty for a robot in adapting its grasping action to objects that have different textures, shapes, and weights. In recent years, the application of Reinforcement Learning (RL) has been considered as a promising approach for dealing with the unpredictability of this task. These RL algorithms are usually run in simulation environments, allowing the robot to learn the action policy faster, without the risk of getting it damaged. However, problems arise when the policy is applied in the physical world. The use of Domain Randomization can effectively push the algorithm to abstract domain invariant features so that the learned policy can also work in different contexts. Additionally, usual approaches use external visual inputs to train the RL neural networks, however, this prevents the algorithm from generalizing to different robotic arms. In this paper, I discuss a novel approach that uses images from a camera attached to the robot’s end-effector as the input to the Reinforcement Learning algorithm trained in a Randomized Simulation Domain.

Lo sviluppo di un braccio robotico capace di adattare la sua presa a oggetti con texture, forme e pesi diversi ha sempre rappresentato una sfida notevole. Negli ultimi anni, l’applicazione del Reinforcement Learning (RL) è stata considerata un approccio promettente per affrontare l’imprevedibilità di questo compito. Questi algoritmi vengono solitamente addestrati in simulazione, permettendo al robot di apprendere la policy d’azione più velocemente, senza il rischio di danneggiarlo. Tuttavia, sorgono problemi quando la policy viene applicata nel mondo reale. L’utilizzo della tecnica di Domain Randomization può spingere efficacemente l’algoritmo ad astrarre caratteristiche invarianti presenti in differenti ambienti, in modo che la policy appresa possa funzionare anche in diversi contesti. Inoltre, le tecniche attuali utilizzano telecamere esterne per addestrare l’algoritmo RL, questo, però, impedisce al modello di generalizzare a bracci robotici con cinematiche differenti. In questa tesi, discuto un approccio alternativo che utilizza immagini da una telecamera fissata all’estremità del robot come input del modello di Reinforcement Learning addestrato in una simulazione in cui la tecnica di Domain Randomization è applicata.