Robot programming by demonstration: segmentation and via-set optimization

Learning from Demonstration (LfD) offers an intuitive paradigm for programming robots, yet translating variable human demonstrations into robust and adaptable robotic skills remains a significant challenge, particularly for complex interaction tasks. This thesis presents a novel LfD framework designed to enhance skill acquisition from few demonstrations and enable adaptive execution for collaborative robots interacting with physical interfaces, such as those found in aircraft cockpits for testing purposes. The core of this work lies in a pipeline that introduces three key methodological contributions. Firstly, a custom event-informed Dynamic Time Warping (DTW) algorithm was developed to achieve accurate temporal alignment of multiple, variable demonstrations by leveraging task-relevant events alongside kinematic data. Secondly, a new trajectory segmentation algorithm, Segmentation based on Dynamic Programming (SEGDP), along with its proven computationally efficient O(N) variant (fastSEGDP), was designed to identify meaningful keyframes and skill primitives from aligned trajectories using a geometrically intuitive cost function. Thirdly, a via-set optimization module utilizes statistical models derived at these keyframes to refine learned skills at runtime, facilitating adaptation to environmental or task variations. The proposed LfD framework was implemented and validated using a UR5e collaborative robot interacting with a physical cockpit mock-up. The experimental validation, involving kinesthetic teaching of various HMI testing skills, demonstrated the system's capability to learn adaptable skill models from limited data, execute tasks with precision, and adjust to changes. A user study further investigated the pipeline's usability, highlighting its potential for improving the efficiency and reliability of robotic systems in complex interaction scenarios.

L'Apprendimento da Dimostrazione (LfD) è un paradigma intuitivo e di semplice utilizzo per la programmazione dei robot. Tuttavia, tradurre delle dimostrazioni, intrinsecamente variabili, in una singola e robusta politica di esecuzione rimane una sfida. Questa tesi presenta un framework LfD innovativo per l'acquisizione di abilità robot da poche dimostrazioni, atte al testing di dispositivi di controllo per applicazioni avioniche. La tesi propone tre contributi metodologici principali: un algoritmo di Dynamic Time Warping (DTW) personalizzato, facente uso degli eventi registrati durante le dimostrazioni per garantire un accurato allineamento temporale; un nuovo algoritmo di segmentazione, SEGDP (e la sua variante efficiente O(N) fastSEGDP), per estrarre autonomamente le pose target del moto; infine, un modulo di ottimizzazione dei movimenti che utilizza modelli statistici per adattare l'abilità appresa in fase di esecuzione. Il framework è stato validato con un robot collaborativo UR5e su un dispositivo di controllo per simulazioni di volo. Gli esperimenti tramite controllo cinestetico hanno dimostrato la capacità del sistema di apprendere da pochi dati, eseguire compiti con precisione e adattarsi ai cambiamenti nella scena. Uno studio con operatori non esperti ha confermato l'usabilità del sistema e il suo potenziale per migliorare l'efficienza e l'affidabilità dei sistemi robotici in scenari di testing complessi.