A modular framework for robotic decluttering tasks combining grasp and push actions

Robotic manipulation of objects in cluttered environments represents a complex challenge. In these scenarios, numerous issues emerge, such as potential collisions, occlusions, and limited visibility, making the execution of manipulation operations particularly difficult. This thesis focuses on the decluttering problem, the task that aims to remove all elements from a workspace. Specifically, the emphasis is placed on cluttered environments, where the exclusive use of grasping actions is often insufficient due to the lack of maneuvering space between the objects. This requires the introduction of non-prehensile primitives aimed at redistributing objects in the scene to allow their subsequent grasping. A modular framework is then proposed, combining non-prehensile pushing actions, to reconfigure the scene, with 6-degree-of-freedom grasping actions. These grasping actions give the system greater versatility, allowing objects to be approached from multiple angles. Operationally, the system processes RGB-D images acquired via a depth camera as input, dynamically deciding, based on the current state of the workspace, the action to be performed. Architecturally, the framework integrates two neural networks dedicated to pushing and grasping primitives: a PushNet and a GraspNet, respectively. The pushing network was trained from scratch using Deep Reinforcement Learning, while a pre-trained network was integrated into the system for grasping. The framework has been tested and experimentally validated both in simulation and on a real robotic setup, evaluating its effectiveness and performance on different test scenarios.

La manipolazione robotica di oggetti in ambienti disordinati rappresenta una sfida complessa. In tali scenari, infatti, emergono numerose problematiche, quali ad esempio potenziali collisioni, occlusioni e una visibilità limitata, che rendono l'esecuzione delle operazioni di manipolazione particolarmente ardua. Questa tesi si concentra sul problema del decluttering, ossia la rimozione di tutti gli elementi da un'area di lavoro. Nello specifico, l'enfasi è posta proprio sugli ambienti disordinati, dove l'impiego esclusivo di azioni di presa risulta spesso insufficiente a causa della mancanza dello spazio di manovra necessario tra gli oggetti. Ciò richiede l'introduzione di primitive non prensili volte a ridistribuire gli oggetti nella scena per consentirne la successiva presa. Viene quindi proposto un framework modulare che combina azioni non prensili di spinta, per riconfigurare la scena, con azioni di presa a 6 gradi di libertà. Queste ultime conferiscono al sistema una maggiore versatilità, consentendo di approcciare gli oggetti da molteplici angolazioni. Operativamente, il sistema elabora in input immagini RGB-D acquisite tramite una camera di profondità, decidendo dinamicamente, in base allo stato corrente del workspace, l'azione da eseguire. Dal punto di vista architetturale, il framework integra due reti neurali dedicate alle primitive di spinta e di presa: rispettivamente una PushNet e una GraspNet. La rete di spinta è stata addestrata da zero tramite Deep Reinforcement Learning, mentre per la presa è stata integrata all'interno del sistema una rete pre-addestrata. Il framework è stato testato e validato sperimentalmente sia in simulazione che su un setup robotico reale, valutandone l'efficacia e le performance su diversi scenari di prova.