Vision-based intelligent grasping learning exploiting AI algorithms

Robots are nowadays required to manipulate parts, being able to quickly identify and grasp them, even in complex environments. Artificial Intelligence algorithms can be exploited in order to avoid the use of high-costs sensors, being able to identify parts with less expensive cameras. The aim of the presented thesis is to exploit ABB’s YuMi single arm manipulator IRB 14050 and its 2D Cognex AE3 In-Sight camera, mounted at its end-effector, in order to reconstruct complex scenarios, identify the best part to be grasped and minimize the grasping error. In particular, this work aims at developing an optimization methodology which will allow the detection and the grasping of 3D complex objects located in different orientations by using the integrated 2D vision system. It is worth mentioning that a 2D sensor, in fact, needs to be correctly aligned with the target part for an accurate identification and localization, enhancing complex manipulation tasks. The sensor pose is thus optimized by the proper definition of a cost function taking into consideration the maximization of the object detection performance. Bayesian Optimization (BO) has been selected because of its high efficiency in terms of number of function evaluations for derivative-free optimization. In addition, in the presence of multiple objects, transfer learning capabilities are introduced to minimize the experimental effort in subsequent grasps, in order to transfer useful information to the next grasping phase. Therefore, it is important to exploit all the previously acquired information in order to minimize the number of optimization iterations. Available data, in fact, allows to initialize the BO for the next optimization phases, providing information on already detected and grasped parts. The proposed BO algorithm with Transfer Learning (TL) capabilities methodology has been compared with BO (without TL) and Random Samplings+Golden Section Search algorithm. The algorithm has been fully tested in different setup conditions, giving excellent results in terms of flexibility, i.e. it has been tested with several types of objects. The achieved results show that BO+TL is more efficient than the other algorithms because it exploits an initial exploration phase to have a better global understanding of the working domain. This then allows a faster narrowing down of the best camera pose. Moreover being able to exploit already available data for multiple object scenarios makes this algorithm best suited for this application. The thesis has been developed in cooperation with ABB and SUPSI-IDSIA (Istituto Dalle Molle di studi sull’Intelligenza Artificiale), working with a YuMi robot for the experimental evaluation of the proposed approach in the robotics department of ABB’s plant in Vittuone (MI).

Al giorno d’oggi ai robot è richiesto di manipolare oggetti, essere in grado di identificarli velocemente e prenderli anche in ambienti complessi. Gli algoritmi di Intelligenza Artificiale possono essere sfruttati, per evitare l’utilizzo di sensori costosi permettendo di identificare parti con sistemi più economici. Lo scopo di questa tesi è di sfruttare il manipolare YuMi Single arm IRB 14050 di ABB e la sua telecamera 2D Cognex AE3 InSight, montata sull’end-effector per ricostruire scenari complessi, identificare la parte migliore da prendere e minimizzare l’errore di presa. In particolare, questo lavoro, mira a sviluppare una metodologia di ottimizzazione che permetterà l’individuazione e la presa di oggetti 3D complessi posizionati con differenti orientazioni usando il sistema di visione integrato 2D. Occorre menzionare che un sensore 2D ha bisogno di essere correttamente allineato con il pezzo target, per una identificazione e localizzazione accurata, migliorando attività di manipolazione complessa. La posizione del sensore viene quindi ottimizzata tramite la definizione di una funzione di costo che tenga in considerazione la massimizzazione delle prestazioni di rilevamento degli oggetti. L’Ottimizzazione Bayesiana (BO) è stata scelta per via della sua alta efficienza in termini di numero di valutazioni di funzione per ottimizzazioni senza l’uso della derivata. Inoltre, in presenza di più oggetti, vengono introdotte capacità di transfer learning per minimizzare lo sforzo sperimentale nelle prese successive, al fine di trasferire le informazioni utili alla successiva fase di presa. Pertanto, è importante sfruttare tutte le informazioni acquisite in precedenza per ridurre al minimo il numero di iterazioni di ottimizzazione. I dati disponibili, infatti, consentono di inizializzare la BO per le successive fasi di ottimizzazione, fornendo informazioni su parti già rilevate e afferrate. L'algoritmo di BO proposto con Transfer Learning (TL) è stato confrontato con BO (senza TL) e Campionamento Random + algoritmo di Ricerca Sezione Aurea. La metodologia è stata testata in diversi setup, dando ottimi risultati in termini di flessibilità all’utilizzo con diversi tipi di oggetti. I risultati ottenuti mostrano che BO + TL è più efficiente degli altri algoritmi perché sfrutta una fase di esplorazione iniziale per avere una migliore comprensione globale del dominio di lavoro. Ciò consente quindi un raggiungimento più rapido alla migliore posizione della fotocamera. Inoltre la possibilità di sfruttare i dati già disponibili per più oggetti rende questo algoritmo più adatto per questa applicazione. La tesi è stata sviluppata in collaborazione con ABB e SUPSI-IDSIA (Istituto Dalle Molle di studi sull'Intelligenza Artificiale), lavorando con un robot YuMi per la valutazione sperimentale dell'approccio proposto nel reparto di robotica dello stabilimento ABB di Vittuone (MI).