Semantic programming by demonstration for multi-agent systems

In industrial settings, multiple robots often work together in Multi-Agent (MA) systems to perform complex operations efficiently. Proper coordination between their actions is crucial to prevent incidents and ensure that tasks are executed correctly. Traditionally, only large manufactures held the resources and engineering skills to operate these complex systems. Collaborative robotics offers technological, flexible and cost-effective solution to automate small and medium sized enterprises. Programming by Demonstration (PbD) allows inexperienced operators to kinesthetically guide the execution of the skill, which can be recorded and stored with its high-level semantic meaning, making the skill transferable for future applications. We developed a framework for applying in MA systems skills taught by PbD. Integrated in the framework, a MA planner can autonomously generate plans based on the taught skills. The framework includes a pipeline to make the controlled agents execute the scheduled skills to accomplish more complex tasks. The thesis illustrates both the teaching method for skills to be applied in MA systems and the execution pipeline. To facilitate the control of different robots that simultaneously operate in the same domain, we divided the execution environment in working areas and identified the modalities to rule the agent interactions. In a Multi Agent scenario, the method was applied by non-expert users to successfully teach the actions necessary to complete a complex task that requires planning and manipulating abilities. The results of the performed tests indicate that the method is both easy to use in the teaching of action and effective in the managing of multiple robots.

In ambito industriale, molteplici robot lavorano spesso insieme in sistemi multi-agente (MA) per eseguire operazioni complesse in modo efficiente. Un adeguato coordinamento tra le loro azioni è fondamentale per prevenire incidenti e garantire la corretta esecuzione dei task. Tradizionalmente, solo le grandi aziende manifatturiere disponevano delle risorse e delle competenze ingegneristiche necessarie per gestire sistemi tanto complessi. La robotica collaborativa propone soluzioni tecnologiche, molto flessibili ed economiche per automatizzare anche e piccole e medie imprese. La programmazione per dimostrazione (PbD) permette ad operatori non-esperti di guidare fisicamente l'esecuzione dell'azione, che può essere registrata e memorizzata con un significato semantico di alto livello per applicazioni future. Abbiamo sviluppato un framework che permette di applicare, in sistemi MA, skills insegnate tramite PbD. Un planner MA integrato nel framework permette di generare autonomamente piani che si basano sulle skill insegnate. Il framework include un programma per far eseguire le azioni pianificate agli agenti controllati. In questa tesi illustriamo sia il metodo di insegnamento delle skill per sistemi MA, sia il programma che permette l'esecuzione delle azioni. Il controllo di più robot che operano nello stesso ambiente è facilitato dalla divisione dello spazio in aree di lavoro e dall'identificazione di regole che ne governano l'interazione. Il metodo è stato applicato in uno scenario multiagente da utenti inesperti per insegnare le azioni necessarie a svolgere un compito richiedente abilità di pianificazione e manipolazione. I risultati degli esperimenti mostrano come il metodo sia efficace nel gestire più robot e di facile utilizzo.