Activity recognition from operator demonstrations with symbolic AI

In the era of Industry 4.0, manufacturing sectors are increasingly shifting towards customized production to meet diverse consumer demands. This transition challenges traditional manufacturing paradigms and necessitates the adoption of flexible, adaptive technologies. Particularly, Small and Medium-sized Enterprises (SMEs), face the dual challenge of adapting to this shift, while often lacking in-house robotics expertise. This backdrop sets the stage for the development of intuitive robotic programming approaches. Programming by Demonstration (PbD) emerges as a pivotal solution, enabling rapid, on-the-fly reconfiguration of cobots through simple demonstrations by human operators. Additionally, semantic methods have gained attention for their ability to enhance robots' understanding of demonstrated actions by integrating high-level scene representations into the traditional PbD frameworks. This thesis employs a Semantic Programming by Demonstration approach to recognize predefined skills from continuous human demonstrations and to translate them into a sequence of machine-readable commands for robotic execution. The skills are semantically defined using predicates that specify their preconditions and effects. The system observes demonstrations and automatically segments them by detecting transitions in the world model. The segments are then classified by matching them to the corresponding skills in the skill library. The classification routine progressively merges candidate segments and classifies them based on a skill likeliness indicator, which must exceed a specified threshold to confirm the classification. This design allows to enhance the robustness of the classification approach. This methodology has been validated in a user study, that included the demonstration of manipulation skills, tool changes, and tool operations, demonstrating its adaptability. The sequence of recognized skills is then translated in a list of commands that enable the robot to seamlessly replicate the demonstrated action sequence. This research not only enhances the robot’s capability to comprehend and replicate complex tasks demonstrated by human operators but also significantly reduces the complexity and expertise traditionally required in robotic programming.

Nell'era dell'Industria 4.0, i settori manifatturieri stanno progressivamente evolvendo verso una produzione sempre più personalizzata per soddisfare le diverse esigenze dei consumatori. In particolare, le Piccole e Medie Imprese (PMI) si trovano di fronte alla doppia sfida di adattarsi a questa evoluzione, spesso senza avere a disposizione personale specializzato nella programmazione robotica. In questo contesto, si rende necessario lo sviluppo di metodologie di programmazione robotica più intuitive. La Programmazione per Dimostrazione (PbD) si rivela una soluzione cruciale, consentendo una rapida riconfigurazione dei cobot attraverso semplici dimostrazioni effettuate dagli operatori umani. Parallelamente, i metodi semantici stanno acquisendo notevole rilievo, poiché consentono di migliorare la capacità dei robot di interpretare le azioni dimostrate, integrando rappresentazioni ad alto livello della scena nei framework PbD tradizionali. Questo lavoro si propone di adottare un approccio basato sulla semantica per riconoscere azioni predefinite a partire da dimostrazioni umane e di tradurle in una sequenza di comandi eseguibili dal robot. Le azioni da riconoscere sono definite semanticamente tramite dei predicati che ne specificano le precondizioni e gli effetti. Il sistema osserva le dimostrazioni e le segmenta automaticamente, individuando transizioni nel modello semantico della scena. Questi segmenti vengono successivamente classificati associandoli alle azioni corrispondenti presenti nella libreria. La procedura di classificazione unisce progressivamente i segmenti rilevati e li valuta in base a un indicatore di probabilità, che deve superare una soglia prestabilita per confermare una classificazione. Questo approccio incrementa la robustezza del metodo di classificazione. La metodologia è stata validata in uno studio dove diversi candidati hanno dimostrato azioni di manipolazione, di cambio utensili e di operazioni con questi ultimi. La sequenza di azioni riconosciute viene tradotta in un elenco di comandi che consente al robot di replicare fedelmente le azioni dimostrate. Questo metodo non solo permette al robot di comprendere e replicare compiti complessi mostrati dagli operatori, ma riduce anche significativamente la complessità e le competenze tradizionalmente necessarie per la programmazione robotica.