Segmentation and classification of robot skills from demonstrations

The shift in demand towards more customised products is driving small and medium-sized enterprises to adopt flexible solutions for their production systems. The ability to quickly reconfigure robots for new tasks is crucial and contrasts with the lack of robotics experts in such companies. Robot manufacturers’ efforts to provide simple programming tools and interfaces reflect the need to make robot programming accessible to everyone. Programming by Demonstration is an intuitive solution that allows a human teacher to teach a robotic agent how to perform a task. Complex tasks can be seen as a sequence of sub-actions called skills. Along this line, this thesis focuses on a segmentation and classification method for the offline autonomous generation of the sequence of robot skills performed by an inexperienced operator during a kinesthetic demonstration where he physically moves the robot. A semantic description of the environment as a set of predicates and the detectable robot skills characterised by their preconditions and effects enables the system’s high-level reasoning. Then, a segmentation of the demonstration is obtained in an event-based manner by detecting transitions in the world state, and segments are finally classified using our novel cyclic skill-guessing-based algorithm. The method is validated in a scenario with a skill library comprising manipulation, along with force-based and speed-based continuous skills such as polishing and welding. The choice of employing a skill likeliness indicator to guess the skill is shown to improve the scalability of the method to more complex domains. Furthermore, the results demonstrate the robustness of the skill classification algorithm against missed predicate activation. Finally, we provide evidence for the method’s effectiveness in detecting when a demonstrated skill is not contained in the library, allowing the system to alert the operator to teach and name the unknown skill.

L’aumento della richiesta di prodotti personalizzati ha spinto le piccole-medie imprese ad abbracciare soluzioni flessibili per ottimizzare i propri sistemi di produzione. In tale contesto, la capacità di adattare rapidamente i robot per eseguire nuovi compiti è fondamentale. Pertanto, i produttori di robot si sono impegnati nel fornire strumenti e interfacce di programmazione intuitivi. Una soluzione che si è rivelata particolarmente promettente è la programmazione per dimostrazione, che consente a un istruttore umano di trasferire la conoscenza riguardo all’esecuzione di nuove attività a un robot. In pratica, le attività complesse vengono scomposte in una sequenza di sotto-azioni che possono essere apprese facilmente. In questo ambito, la tesi si focalizza sullo sviluppo di un metodo per la segmentazione e classificazione delle azioni eseguite da operatori inesperti durante una dimostrazione cinestesica, al fine di generare autonomamente una sequenza di azioni. Per realizzare ciò, si fa uso di una descrizione semantica dell’ambiente e una libreria di azioni, caratterizzate come precondizioni ed effetti. La segmentazione della dimostrazione avviene tramite l’individuazione delle transizioni nella descrizione simbolica dello stato del mondo, mentre i segmenti così ottenuti vengono classificati mediante un innovativo algoritmo basato su un processo ciclico che intuisce l’azione più probabile. Per convalidare il metodo proposto, sono stati condotti esperimenti in uno scenario realistico, comprendente una vasta libreria di azioni che spaziano dalle manipolazioni alle attività continue come la lucidatura e la saldatura. I risultati ottenuti confermano che l’uso di un indicatore di probabilità migliora la scalabilità del metodo. Inoltre, è stato evidenziato come l’algoritmo di classificazione sia robusto alla mancata attivazione dei predicati. Infine, lo studio ha confermato l’efficacia del metodo nel rilevare quando un’azione eseguita durante la dimostrazione non è presente nella libreria. Questo permette al sistema di avvisare l’operatore e richiedergli di insegnare l’azione sconosciuta, contribuendo al processo di apprendimento e adattamento del robot.