Semantic representation of a scene for robotic applications

The past decade has seen a growing drive for the simplification of cobot programming, aimed at making it within the reach of unskilled operators. Due to a higher demand for customized products, small and medium-sized enterprises require quicker and easier reconfiguration of the robots. Robot manufacturers need to look for more successful solutions, and academic research already offers some concepts, like Semantic Programming by Demonstration, that could be reformulated into new strategies for robot teaching. Abstracting the meaning of actions, interpreted as the effect that they have on the scene and their purpose, is fundamental in semantic machines. The challenge is to make a machine capable of analyzing a scene to distinguish its salient features, such as the mutual relationships between the objects and the attributes of those objects. Such characteristics, specific to the operational context, are essential to subsequently being able to plan an action regardless of the circumstances of the case. The robot will interpret if the pre-conditions of an action are met, move accordingly, and finally verify the post-conditions that arise from the observation of the environment. This thesis aims to develop an algorithm capable of extracting the relevant data of objects in a scene, checking for any relationships between instances, and constructing a Scene Graph whose structure is ordered and standardized according to past literature. The generation of the graph is complete, efficient, and real-time.

Negli ultimi dieci anni si è assistito ad una crescente spinta alla semplificazione della programmazione dei cobot, con l'obiettivo di renderla accessibile anche a operatori non qualificati. A causa della maggiore domanda di prodotti personalizzati, le piccole e medie imprese richiedono una riconfigurazione più rapida e semplice dei robot. I produttori di robot devono cercare soluzioni più efficaci, e la ricerca accademica offre già alcuni concetti, come la Programmazione Semantica per Dimostrazione, che potrebbero essere riformulati in nuove strategie per l'insegnamento dei robot. L'astrazione del significato delle azioni, interpretate come l'effetto che hanno sulla scena e il loro scopo, è fondamentale nelle macchine che impiegano strumenti semantici. La sfida consiste nel rendere una macchina capace di analizzare una scena per distinguere le sue caratteristiche salienti, come le relazioni reciproche tra gli oggetti e gli attributi degli stessi. Tali caratteristiche, specifiche del contesto operativo, sono essenziali per poter successivamente pianificare un'azione indipendentemente dalle circostanze del caso. Il robot interpreterà se le pre-condizioni dell'azione sono soddisfatte, si muoverà di conseguenza e infine verificherà le post-condizioni che derivano dall'osservazione dell'ambiente. Questa tesi mira a sviluppare un algoritmo in grado di estrarre i dati rilevanti degli oggetti in una scena, verificare eventuali relazioni tra le istanze e costruire uno Scene Graph la cui struttura è ordinata e standardizzata in base alla letteratura precedente. La generazione del grafo è completa, efficiente e in tempo reale.