From image to pick primitive for robotic handling of food

This thesis aims at developing a learning framework for automation systems in the culinary field for a hospital canteen. A collaborative robotic arm is tasked to empty a gastronorm tray using a custom-made food handling tool. Starting from a human demonstration, a learning algorithm is used to generate new motion primitives able to optimally adapt to the state of the food inside the tray. Vision data were obtained with an eye-in-hand depth camera attached to the robot wrist. An eye-to-hand cameras system is instead used to collect a first set of robot movements based on the human demonstration; this allows the robot to perform flowing and smoother movements that enhanced the quality of the food picking operations. Additionally, this research shows the efficacy of this data-driven approach in dealing with a starting set of motion primitives and its enlargement for fulfilling the secondary task of this project: an high level of accuracy in terms of collected food quantity, with respect to a given requested weight. The results of this work are analyzed in terms of the weight of the food weight error and performance improvements along the algorithm iterations are highlighted.

Questa tesi intende sviluppare un metodo di apprendimento per sistemi di automazione in ambito culinario per una mensa ospedaliera. Un braccio robotico collaborativo ha il compito di svuotare una gastronorm con l’utilizzo di uno strumento apposito per la manipolazione degli alimenti. A partire da una dimostrazione umana, l’algoritmo di apprendimento viene utilizzato per generare nuove primitive di movimento in grado di adattarsi in modo ottimale alla distribuzione del cibo all’interno del vassoio. I dati di visione sono ottenuti con una videocamera di profondità eye-in-hand attaccata al polso del robot. Un sistema di telecamere eye-to-hand è invece utilizzato per raccogliere un primo insieme di movimenti del robot basati sulla dimostrazione umana; ciò permette al robot di eseguire movimenti più fluidi e dolci che hanno aumentato la qualità delle operazioni di prelievo del cibo. Inoltre, questa ricerca mostra l’efficacia dell’approccio data-driven nel gestire l’insieme iniziale di primitive ed il suo ampliamento con il fine di compiere il secondo obiettivo di questo progetto: un alto livello di precisione in termini di peso della quantità raccolta. I risultati di questo lavoro vengono analizzati in termini di errore di peso del cibo e con il passare delle iterazioni si notano miglioramenti nelle prestazioni.