Cobots understanding skills programmed by demonstration

The consolidation of the fourth industrial revolution brought a change of perspective on the role of robots in factories. From general-purpose machines, hard-coded for specific tasks in confined workspaces, robots are now increasingly conceived as intelligent systems able to work alongside human operators. Collaborative robots (cobots) embody this paradigm shift, offering companies safer and more interoperable machines. Besides, the programming of cobots has been made easier with user-friendly interfaces featuring a growing set of pre-programmed skills that enhance flexibility and ease of deployment. However, despite these advancements, a key barrier to widespread cobot adoption, especially among Small and Medium-sized Enterprises (SMEs), remains the need for field experts to design and validate robot operations. This thesis aims to develop no-code programming interfaces to enable non-expert users to program cobots. Lowering the expertise required for cobot programming would not only expand their market reach but make SMEs exploit the benefits provided by such advanced technologies, bridging the gap with industry leaders. Several strategies have been explored to provide non-experts with intuitive robot programming methods. Programming by Demonstration (PbD) enables robots to learn skills by extracting execution policies from user demonstrations. Recent advancements focus on equipping systems with semantic reasoning capabilities, allowing them to understand the meaning of demonstrated actions, thus enabling symbolic planners to reuse and arrange the skills sequence required to perform the task. However, the limited descriptive capabilities of current approaches hinder their application in realistic industrial settings. This thesis addresses this challenge by enhancing the system’s semantic descriptive capabilities and extending PbD methodologies to multi-agent scenarios. Additionally, it explores alternative uses of the learnt semantic skill descriptors, proposing a methodology to segment and classify a continuous demonstration of a task into the sequence of robot skills necessary for replicating it. Finally, the thesis focuses on improving the encoding of demonstrated trajectories. For tool-based skills such as welding and polishing, existing methods rely on waypoint savings and manual specification of movement types, increasing the programming expertise required. Addressing the issue, the thesis presents a methodology for parameterizing trajectories from continuous hand-guided demonstrations. This approach enables the system to generate robot-executable code directly from a simple user demonstration, streamlining the programming process. All methodologies proposed in this thesis are experimentally validated via user studies involving non-experts, assessing their effectiveness as robot programming interfaces and evaluating overall system usability.

L'affermarsi della quarta rivoluzione industriale ha portato a un cambiamento di prospettiva sul ruolo dei robot nelle fabbriche. Da macchine per un utilizzo generico, in realtà programmate rigidamente per compiti specifici in spazi di lavoro confinati, i robot sono ora sempre più concepiti come sistemi intelligenti in grado di operare al fianco degli umani. I robot collaborativi (cobot) incarnano questo cambiamento di prospettiva, offrendo alle aziende dispositivi più sicuri e interoperabili. Inoltre, la programmazione dei cobot è stata semplificata grazie a interfacce intuitive che offrono un numero crescente di azioni pre-programmate, aumentando così la flessibilità e la facilità di implementazione. Tuttavia, nonostante questi progressi, un ostacolo chiave alla diffusione su larga scala dei cobot, soprattutto tra le Piccole e Medie Imprese (PMI), rimane la necessità di esperti del settore per progettare e validare le operazioni del robot. Questa tesi si propone di sviluppare interfacce di programmazione no-code per consentire a utenti non esperti di programmare i cobot. Ridurre le competenze richieste per la programmazione dei cobot non solo ne amplierebbe la diffusione sul mercato, ma permetterebbe alle PMI di sfruttare i benefici offerti da queste tecnologie avanzate, riducendo il divario tecnologico con i leader del settore. Diverse strategie sono state esplorate per fornire a utenti non esperti metodi intuitivi di programmazione robotica. La Programmazione per Dimostrazione (PbD) consente ai robot di apprendere competenze estraendo politiche di esecuzione dalle dimostrazioni degli utenti. I recenti progressi si concentrano sul dotare i sistemi di capacità di ragionamento semantico, permettendo loro di comprendere il significato delle azioni dimostrate e consentendo così a pianificatori simbolici di riutilizzare e organizzare la sequenza di azioni necessarie per svolgere il compito desiderato. Tuttavia, le limitate capacità descrittive degli approcci attuali ne ostacolano l'applicazione in contesti industriali. Questa tesi affronta tale sfida migliorando le capacità descrittive semantiche del sistema ed estendendo le metodologie PbD a scenari multi-robot. Inoltre, esplora usi alternativi dei modelli semantici delle azioni, proponendo una metodologia per segmentare e classificare una dimostrazione continua di un determinato task nella sequenza di azioni necessarie per replicare la sua esecuzione con il robot. Infine, la tesi si concentra sul miglioramento della codifica delle traiettorie dimostrate. Per azioni basate sull'uso di utensili, come la saldatura e la lucidatura, i metodi esistenti si basano sulla memorizzazione dei waypoint e sulla specifica manuale da parte degli utenti dei tipi di movimento, aumentando il livello di competenza richiesto per la programmazione. Per affrontare questo problema, la tesi presenta una metodologia per la parameterizzazione delle traiettorie a partire da dimostrazioni continue eseguite con il robot guidato manualmente dall'operatore. Questo approccio consente al sistema di generare codice eseguibile dal robot da una semplice dimostrazione dell'utente, semplificando il processo di programmazione. Tutte le metodologie proposte in questa tesi sono validate sperimentalmente attraverso studi con utenti non esperti, valutando la loro efficacia come interfacce di programmazione di un robot e analizzando la facilità d'uso complessiva del sistema.