Affordance prediction with vision via task oriented grasp quality metrics

The research community has spent much effort in tackling the problem of grasping novel objects in different settings with the objective of holding objects robustly with robotic manipulators; however, real manipulation tasks go far beyond holding the objects and the quality of a grasp depends on the task it is meant to support. While many quality metrics exist to evaluate the quality of a grasp by itself, no clear quantification of the quality of a grasp relatively to a task has been defined. In this thesis we propose a framework to extend the concept of quality metric to task-oriented grasping by defining general physical measures for an open set of task affordances. We evaluate both the results provided by such metrics and their applicability in practice by learning to infer them from vision. To validate our framework, we have collected a dataset of grasps and computed elementary graps metrics by using the GraspIt! simulator on the Princeton Shape Benchmark object models. Then we have trained deep models to infer these elementary metrics from range images taken in a simulated camera-in-hand setting to assess the applicability of our framework to more realistic partial-information settings. Experimental results show that a direct search in a perfect information simulation with our novel framework produces new and creative grasps which fit the specific actuator in use for the selected task, while inference of such metrics from synthesized vision provides already meaningful results, leaving margins for further improvement.

La comunità di ricerca ha speso molte energie per affrontare il problema di afferrare oggetti non noti a priori in diversi contesti con l'obiettivo di generare prese robuste con manipolatori robotici; tuttavia le applicazioni reali vanno molto oltre il tenere semplicemente gli oggetti, e la qualità di una presa dipende dal compito di manipolazione che la stessa deve supportare. Esistono molte metriche per valutare la qualità di una presa a sé stante, tuttavia non esiste una chiara quantificazione della qualità di una presa relativamente ad un compito di manipolazione. In questa tesi proponiamo una metodologia per estendere il concetto di metrica alle prese orientate ad un compito definendo misure fisiche generali per un insieme aperto di possibili compiti. Valutiamo sia la validità di queste metriche che la loro applicabilità pratica apprendendo l'inferenza delle stesse dalla visione. Per verificare il nostro metodo, abbiamo raccolto un dataset di prese robotice e calcolato metriche elementari usando il simulatore GraspIt! su modelli tratti dal Princeton Shape Benchmark. Successivamente abbiamo allenato modelli deep per estrarre le suddette metriche da visione da immagini di profondità sintetizzate con l'assunzione di camera sulla mano per valutare l'applicabilità del nostro metodo a situazioni più realistiche di informazione parziale. I risultati sperimentali mostrano che l'ottimizzazione delle funzioni di affordance in simulazione produce prese nuove e creative, adatte all'attuatore specifico in uso per il compito selezionato, mentre l'inferenza diretta delle metriche da visione porta già risultati significativi, pur lasciando margini per ulteriori miglioramenti.