Best view methodology enhanced by Bayesian optimization for robotic motion planning in quality inspection tasks

Combined robot-vision systems are increasingly popular nowadays, leading to a wide range of manufacturing tasks, such as locating tools, inspecting parts geometry, and checking alignments in assemblies. Although these systems are developing in many fields of application, their huge potential is only partially exploited. The quality control of mounted pieces using a sensor attached to a robot is the field in which this algorithm has been applied. The development of an approach, capable of choosing the best vision system pose for a quality control task with motion planning verification, is the goal this work. The entire algorithm coded is divided in two macro sections. The Offline Architecture, that predicts the best sensor pose in function of environment model and camera location. The Online Architecture, to carry out pose estimation of inspecting piece while controlling robot's movement inside the real environment, avoiding any kind of collisions, also not expected and forecast. To validate the code, a series of experiments have been conducted using Franka Emika Panda robot. Results shows that the algorithm, enhanced by Bayesian Optimization, outperforms standard methods as grid point sampling, reducing drastically the numbers of data needed and computation times. In addition, this algorithm does not use the manipulator during the Offline part, allowing further optimization and the use of the robot at the same time.

In questi ultimi anni, i sistemi combinati tra robot e sensori di visione sono sempre più diffusi, aprendo la strada allo sviluppo di un'ampia gamma di attività di produzione, come la localizzazione di strumenti, l'ispezione della geometria delle parti ed il controllo dell'allineamento all'interno di assiemi. Sebbene questi sistemi si stiano sviluppando in molti campi di applicazione, il loro enorme potenziale è solo parzialmente sfruttato. Il controllo qualità di componenti, usando un sensore montato su robot, è il contesto sul quale questo lavoro viene basato. Lo sviluppo di un algoritmo, in grado di determinare la miglior posa del sistema di visione con verifica della pianificazione del moto, è lo scopo di questa tesi. L'intero codice è diviso in due macro sezioni. L'architettura Offline, che prevede l'estrazione del miglior posizionamento del sensore in funzione della scena e del punto di vista del sensore stesso. L'architettura Online, per effettuare la stima della posa del componente pianificando i movimenti del robot all'interno dell'ambiente, evitando qualsiasi tipo di collisione, anche non prevista. La validazione dell'algoritmo passa attraverso una serie di esperimenti effettuati con il manipolatore Panda di Franka Emika. I risultati dimostrano che il codice, perfezionato attraverso l'utilizzo dell'ottimizzazione Bayesiana, supera in termini di performance metodi standard quali campionamento di punti, riducendo i dati necessari e i tempi di calcolo. In aggiunta, questo algoritmo non utilizza il robot durante la parte Offline, permettendo ulteriore ottimizzazione e l'utilizzo del manipolatore nello stesso tempo.