The rapid advancement of Industry 4.0 has led to profound transformations in manufacturing and industrial processes, especially with the shift from mass production to customized production models. This evolution necessitates increased flexibility and safety for robots operating in industrial, logistics, and domestic environments. Imitation learning (IL) has emerged as a practical approach to programming collaborative robots (cobots) by transferring human manipulation skills, enabling them to adapt to a wide range of applications. However, current IL research primarily focuses on free-motion tasks, neglecting the complexities of interactions between robots and their environments. \textcolor{black}{To dynamically regulate these interactions}, variable impedance control (VIC) has been proposed as a promising solution, allowing cobots to adjust their impedance parameters dynamically based on environmental changes. Despite this progress, a critical question remains: how can we design variable impedance parameters and the corresponding reference trajectories for VIC simultaneously? This thesis seeks to answer this question by drawing inspiration from human sensorimotor abilities and proposing innovative hybrid IL and optimization frameworks. These frameworks effectively combine the intuitive skill transfer of IL with the precision of optimal control, achieving autonomous, optimal, and safe cobot behavior, particularly for collaborative mobile manipulators (CMMs). The IL component encodes complex human skills that are difficult to program manually, such as reference trajectories and interaction forces. Concurrently, the optimization component generates safe and optimal low-level commands—like joint velocities and impedance parameters—by incorporating high-level commands and considering robot and environmental constraints to ensure system passivity. These frameworks have been rigorously evaluated in challenging, contact-rich, and dynamic manipulation scenarios, demonstrating superior performance over existing state-of-the-art approaches and applications. In more detail, to enhance contact-rich mobile manipulation, this thesis presents a combined learning and optimization framework that enables autonomous physical interaction tasks under varying external disturbances. Direct kinesthetic teaching is employed to gather demonstrations of contact-rich tasks through an admittance interface, marking a novel approach in this context. These learned demonstrations inform a Quadratic Programming (QP)-based optimization formulation, which generates optimal stiffness while accounting for real-time interactions. An energy tank-based passivity constraint is incorporated to ensure controller stability. This method is evaluated through table-cleaning tasks performed by a CMM under two conditions—with and without external disturbances—showing that the proposed VIC tuning achieves consistent performance across varying scenarios compared to constant impedance controllers. Focusing on dynamic manipulation, particularly catching flying objects, this thesis introduces IMA-Catcher, an impact-aware, nonprehensile flying object catching framework that combines optimization and learning for cobots. The catching motion is divided into Pre-Catching (PRC) and Post-Catching (POC) phases, with the QP generating a predictive reference trajectory during the PRC phase based on the object's estimated path. Upon catching, the strategy transitions to the POC module to dissipate contact energy using learned human VIC behavior. This approach enables a Franka Emika Panda robotic arm to successfully catch a free-flying ball, demonstrating the framework's effectiveness. Building on impact awareness, the thesis proposes a holistic approach to transferring human whole-body loco-manipulation skills to CMMs, especially when approaching target objects at no-zero velocity. By mapping the human wrist and pelvis poses to the end-effector and mobile base frames of CMMs, respectively, IL facilitates adaptive real-time trajectory adjustments in response to task changes. The generated reference trajectories are processed through a Hierarchical Quadratic Programming (HQP) controller, prioritizing end-effector and mobile base trajectory tracking tasks to produce optimal joint velocities. Simulation and hardware experiments with CMMs confirm the framework's success in transferring and adapting human loco-manipulation skills across different geometries. The extensive experiments and thorough analysis conducted in this thesis demonstrate that the proposed hybrid learning and optimization approaches within the VIC framework effectively transfer and generalize human skills for contact-rich and dynamic manipulation tasks to cobots. This research significantly extends the operational capabilities of cobots, enhancing their application in more complex environments. Furthermore, the findings contribute to the evolution of cobots capable of functioning in sophisticated, real-world settings, paving the way for the next generation of flexible, efficient, and safe production systems.

L'avanzamento rapido dell'Industria 4.0 ha portato a trasformazioni profonde nei processi produttivi e industriali, specialmente con il passaggio dalla produzione di massa a modelli di produzione personalizzati. Questa evoluzione richiede una maggiore flessibilità e sicurezza per i robot operanti in ambienti industriali, logistici e domestici. L'apprendimento per imitazione (IL) si è affermato come un approccio pratico per programmare robot collaborativi (cobot), trasferendo la capacità di interagire con gli oggetti con le competenze manipolative distintive dell'essere umano e permettendo di adattare i cobot ad una vasta gamma di applicazioni. Tuttavia, la ricerca attuale su IL si concentra principalmente su compiti di movimento libero, trascurando le complessità delle interazioni tra robot e ambiente. Una soluzione promettente per questo problema è rappresentata dal controllo a impedenza variabile (VIC), che consente ai cobot di regolare dinamicamente i loro parametri di impedenza in base alle variazioni dell’ambiente circostante. Nonostante i progressi compiuti, rimane una domanda critica: come possiamo stabilire simultaneamente i parametri variabili di impedenza e le corrispondenti traiettorie di riferimento per il VIC? La tesi proposta cerca di rispondere a questa domanda, ispirandosi alle capacità sensomotorie umane e proponendo framework innovativi che includano tecniche di IL e ottimizzazione. I framework sviluppati combinano efficacemente il trasferimento intuitivo delle abilità di IL con la precisione del controllo ottimale, ottenendo comportamenti autonomi, ottimali e sicuri per i cobot, in particolare per i manipolatori mobili collaborativi (CMM). La componente di IL codifica abilità umane complesse e difficili da programmare manualmente, come le traiettorie di riferimento e le forze di interazione. Contemporaneamente, la componente di ottimizzazione genera comandi di basso livello sicuri e ottimali — come velocità dei giunti e parametri di impedenza — incorporando comandi di alto livello e considerando i vincoli del robot e dell'ambiente per garantire la passività del sistema. Questi framework sono stati rigorosamente valutati in scenari di manipolazione dinamici e ricchi di interazioni, dimostrando prestazioni superiori rispetto agli approcci e applicazioni allo stato dell'arte. Nel dettaglio, per migliorare la manipolazione in scenari caratterizzati da numerosi contatti tra gli oggetti ed i cobot, questa tesi presenta un framework combinato di apprendimento e ottimizzazione che consente compiti di interazione fisica autonoma anche in presenza di disturbi esterni. Attraverso un’interfaccia ad ammettenza, vengono collezionati dati cinestetici durante l’esecuzione di mansioni che coinvolgono il contatto fisico con il cobot, creando un approccio innovativo nel contesto della collaborazione uomo-robot. Le dimostrazioni dei compiti vengono codificate, apprese e sfruttate dal sistema per formulare la parte di controllo ottimale. Quest’ultima genera la rigidità desiderata sfruttando la programmazione quadratica (QP) e tenendo conto delle interazioni in tempo reale. Un vincolo di passività basato su un serbatoio di energia è incorporato per garantire la stabilità del controllore. Questo metodo è valutato attraverso il compito di pulizia di un tavolo eseguito da un CMM in due condizioni — con e senza disturbi esterni — dimostrando che la regolazione VIC proposta ottiene prestazioni coerenti in vari scenari rispetto ai controllori di impedenza costante. Concentrandosi sulla manipolazione dinamica, in particolare sulla presa al volo di oggetti, questa tesi introduce IMA-Catcher: un framework che considera gli impatti fisici per afferrare oggetti volanti in modo non prensile e che combina tecniche di ottimizzazione e apprendimento per i cobot. Il movimento di presa è diviso nelle fasi di Pre-Catching (PRC) e Post-Catching (POC), con una traiettoria predittiva di riferimento generata dal QP durante la fase PRC in base al percorso stimato dell'oggetto. Una volta afferrato l’oggetto, la strategia passa al modulo POC per dissipare l'energia di contatto utilizzando il comportamento VIC umano appreso. Questo approccio consente a un braccio robotico Franka Emika Panda di afferrare con successo una palla al volo, dimostrando l'efficacia del framework. Basandosi sulla consapevolezza dell'impatto, la tesi propone un approccio olistico per trasferire le abilità di loco-manipolazione del corpo umano ai CMM, specialmente quando questi si avvicinano agli oggetti target a velocità non nulla. Mappando le pose del polso e del bacino umano rispettivamente agli end-effector e al sistema di riferimento della base mobile dei CMM, facilita gli aggiustamenti in tempo reale delle traiettorie in risposta ai cambiamenti della mansione. Le traiettorie di riferimento generate vengono elaborate attraverso un controllore di Hierarchical Quadratic Programming (HQP), dando priorità ai compiti di tracciamento delle traiettorie dell'end-effector e della base mobile in modo da produrre velocità ottimali per i giunti. Esperimenti di simulazione e hardware con CMM confermano il successo del framework nel trasferire e adattare le abilità di loco-manipolazione umane attraverso diverse geometrie. Gli esperimenti estensivi e l'analisi approfondita condotti in questa tesi dimostrano che gli approcci ibridi di apprendimento e ottimizzazione proposti all'interno del framework con VIC trasferiscono ai cobot e generalizzano efficacemente le abilità umane per compiti di manipolazione dinamica e di contatto. Questa ricerca amplia significativamente le capacità operative dei cobot, migliorandone l'applicazione in ambienti complessi. Inoltre, i risultati contribuiscono all'evoluzione dei cobot per il funzionamento in ambienti sofisticati del mondo reale, aprendo la strada alla prossima generazione di sistemi di produzione flessibili, efficienti e sicuri.

Hybrid learning and optimization approaches for contact-rich and dynamic robot manipulation

Zhao, Jianzhuang
2024/2025

Abstract

The rapid advancement of Industry 4.0 has led to profound transformations in manufacturing and industrial processes, especially with the shift from mass production to customized production models. This evolution necessitates increased flexibility and safety for robots operating in industrial, logistics, and domestic environments. Imitation learning (IL) has emerged as a practical approach to programming collaborative robots (cobots) by transferring human manipulation skills, enabling them to adapt to a wide range of applications. However, current IL research primarily focuses on free-motion tasks, neglecting the complexities of interactions between robots and their environments. \textcolor{black}{To dynamically regulate these interactions}, variable impedance control (VIC) has been proposed as a promising solution, allowing cobots to adjust their impedance parameters dynamically based on environmental changes. Despite this progress, a critical question remains: how can we design variable impedance parameters and the corresponding reference trajectories for VIC simultaneously? This thesis seeks to answer this question by drawing inspiration from human sensorimotor abilities and proposing innovative hybrid IL and optimization frameworks. These frameworks effectively combine the intuitive skill transfer of IL with the precision of optimal control, achieving autonomous, optimal, and safe cobot behavior, particularly for collaborative mobile manipulators (CMMs). The IL component encodes complex human skills that are difficult to program manually, such as reference trajectories and interaction forces. Concurrently, the optimization component generates safe and optimal low-level commands—like joint velocities and impedance parameters—by incorporating high-level commands and considering robot and environmental constraints to ensure system passivity. These frameworks have been rigorously evaluated in challenging, contact-rich, and dynamic manipulation scenarios, demonstrating superior performance over existing state-of-the-art approaches and applications. In more detail, to enhance contact-rich mobile manipulation, this thesis presents a combined learning and optimization framework that enables autonomous physical interaction tasks under varying external disturbances. Direct kinesthetic teaching is employed to gather demonstrations of contact-rich tasks through an admittance interface, marking a novel approach in this context. These learned demonstrations inform a Quadratic Programming (QP)-based optimization formulation, which generates optimal stiffness while accounting for real-time interactions. An energy tank-based passivity constraint is incorporated to ensure controller stability. This method is evaluated through table-cleaning tasks performed by a CMM under two conditions—with and without external disturbances—showing that the proposed VIC tuning achieves consistent performance across varying scenarios compared to constant impedance controllers. Focusing on dynamic manipulation, particularly catching flying objects, this thesis introduces IMA-Catcher, an impact-aware, nonprehensile flying object catching framework that combines optimization and learning for cobots. The catching motion is divided into Pre-Catching (PRC) and Post-Catching (POC) phases, with the QP generating a predictive reference trajectory during the PRC phase based on the object's estimated path. Upon catching, the strategy transitions to the POC module to dissipate contact energy using learned human VIC behavior. This approach enables a Franka Emika Panda robotic arm to successfully catch a free-flying ball, demonstrating the framework's effectiveness. Building on impact awareness, the thesis proposes a holistic approach to transferring human whole-body loco-manipulation skills to CMMs, especially when approaching target objects at no-zero velocity. By mapping the human wrist and pelvis poses to the end-effector and mobile base frames of CMMs, respectively, IL facilitates adaptive real-time trajectory adjustments in response to task changes. The generated reference trajectories are processed through a Hierarchical Quadratic Programming (HQP) controller, prioritizing end-effector and mobile base trajectory tracking tasks to produce optimal joint velocities. Simulation and hardware experiments with CMMs confirm the framework's success in transferring and adapting human loco-manipulation skills across different geometries. The extensive experiments and thorough analysis conducted in this thesis demonstrate that the proposed hybrid learning and optimization approaches within the VIC framework effectively transfer and generalize human skills for contact-rich and dynamic manipulation tasks to cobots. This research significantly extends the operational capabilities of cobots, enhancing their application in more complex environments. Furthermore, the findings contribute to the evolution of cobots capable of functioning in sophisticated, real-world settings, paving the way for the next generation of flexible, efficient, and safe production systems.
DUBINI, GABRIELE ANGELO
PEDROCCHI, ALESSANDRA LAURA GIULIA
AJOUDANI, ARASH
De Momi, Elena
5-dic-2024
L'avanzamento rapido dell'Industria 4.0 ha portato a trasformazioni profonde nei processi produttivi e industriali, specialmente con il passaggio dalla produzione di massa a modelli di produzione personalizzati. Questa evoluzione richiede una maggiore flessibilità e sicurezza per i robot operanti in ambienti industriali, logistici e domestici. L'apprendimento per imitazione (IL) si è affermato come un approccio pratico per programmare robot collaborativi (cobot), trasferendo la capacità di interagire con gli oggetti con le competenze manipolative distintive dell'essere umano e permettendo di adattare i cobot ad una vasta gamma di applicazioni. Tuttavia, la ricerca attuale su IL si concentra principalmente su compiti di movimento libero, trascurando le complessità delle interazioni tra robot e ambiente. Una soluzione promettente per questo problema è rappresentata dal controllo a impedenza variabile (VIC), che consente ai cobot di regolare dinamicamente i loro parametri di impedenza in base alle variazioni dell’ambiente circostante. Nonostante i progressi compiuti, rimane una domanda critica: come possiamo stabilire simultaneamente i parametri variabili di impedenza e le corrispondenti traiettorie di riferimento per il VIC? La tesi proposta cerca di rispondere a questa domanda, ispirandosi alle capacità sensomotorie umane e proponendo framework innovativi che includano tecniche di IL e ottimizzazione. I framework sviluppati combinano efficacemente il trasferimento intuitivo delle abilità di IL con la precisione del controllo ottimale, ottenendo comportamenti autonomi, ottimali e sicuri per i cobot, in particolare per i manipolatori mobili collaborativi (CMM). La componente di IL codifica abilità umane complesse e difficili da programmare manualmente, come le traiettorie di riferimento e le forze di interazione. Contemporaneamente, la componente di ottimizzazione genera comandi di basso livello sicuri e ottimali — come velocità dei giunti e parametri di impedenza — incorporando comandi di alto livello e considerando i vincoli del robot e dell'ambiente per garantire la passività del sistema. Questi framework sono stati rigorosamente valutati in scenari di manipolazione dinamici e ricchi di interazioni, dimostrando prestazioni superiori rispetto agli approcci e applicazioni allo stato dell'arte. Nel dettaglio, per migliorare la manipolazione in scenari caratterizzati da numerosi contatti tra gli oggetti ed i cobot, questa tesi presenta un framework combinato di apprendimento e ottimizzazione che consente compiti di interazione fisica autonoma anche in presenza di disturbi esterni. Attraverso un’interfaccia ad ammettenza, vengono collezionati dati cinestetici durante l’esecuzione di mansioni che coinvolgono il contatto fisico con il cobot, creando un approccio innovativo nel contesto della collaborazione uomo-robot. Le dimostrazioni dei compiti vengono codificate, apprese e sfruttate dal sistema per formulare la parte di controllo ottimale. Quest’ultima genera la rigidità desiderata sfruttando la programmazione quadratica (QP) e tenendo conto delle interazioni in tempo reale. Un vincolo di passività basato su un serbatoio di energia è incorporato per garantire la stabilità del controllore. Questo metodo è valutato attraverso il compito di pulizia di un tavolo eseguito da un CMM in due condizioni — con e senza disturbi esterni — dimostrando che la regolazione VIC proposta ottiene prestazioni coerenti in vari scenari rispetto ai controllori di impedenza costante. Concentrandosi sulla manipolazione dinamica, in particolare sulla presa al volo di oggetti, questa tesi introduce IMA-Catcher: un framework che considera gli impatti fisici per afferrare oggetti volanti in modo non prensile e che combina tecniche di ottimizzazione e apprendimento per i cobot. Il movimento di presa è diviso nelle fasi di Pre-Catching (PRC) e Post-Catching (POC), con una traiettoria predittiva di riferimento generata dal QP durante la fase PRC in base al percorso stimato dell'oggetto. Una volta afferrato l’oggetto, la strategia passa al modulo POC per dissipare l'energia di contatto utilizzando il comportamento VIC umano appreso. Questo approccio consente a un braccio robotico Franka Emika Panda di afferrare con successo una palla al volo, dimostrando l'efficacia del framework. Basandosi sulla consapevolezza dell'impatto, la tesi propone un approccio olistico per trasferire le abilità di loco-manipolazione del corpo umano ai CMM, specialmente quando questi si avvicinano agli oggetti target a velocità non nulla. Mappando le pose del polso e del bacino umano rispettivamente agli end-effector e al sistema di riferimento della base mobile dei CMM, facilita gli aggiustamenti in tempo reale delle traiettorie in risposta ai cambiamenti della mansione. Le traiettorie di riferimento generate vengono elaborate attraverso un controllore di Hierarchical Quadratic Programming (HQP), dando priorità ai compiti di tracciamento delle traiettorie dell'end-effector e della base mobile in modo da produrre velocità ottimali per i giunti. Esperimenti di simulazione e hardware con CMM confermano il successo del framework nel trasferire e adattare le abilità di loco-manipolazione umane attraverso diverse geometrie. Gli esperimenti estensivi e l'analisi approfondita condotti in questa tesi dimostrano che gli approcci ibridi di apprendimento e ottimizzazione proposti all'interno del framework con VIC trasferiscono ai cobot e generalizzano efficacemente le abilità umane per compiti di manipolazione dinamica e di contatto. Questa ricerca amplia significativamente le capacità operative dei cobot, migliorandone l'applicazione in ambienti complessi. Inoltre, i risultati contribuiscono all'evoluzione dei cobot per il funzionamento in ambienti sofisticati del mondo reale, aprendo la strada alla prossima generazione di sistemi di produzione flessibili, efficienti e sicuri.
File allegati
File Dimensione Formato  
Hybrid Learning and Optimization Approaches for Contact-rich and Dynamic Robot Manipulation-Jianzhuang ZHAO PhD Thesis.pdf

non accessibile

Dimensione 41.91 MB
Formato Adobe PDF
41.91 MB Adobe PDF   Visualizza/Apri

I documenti in POLITesi sono protetti da copyright e tutti i diritti sono riservati, salvo diversa indicazione.

Utilizza questo identificativo per citare o creare un link a questo documento: https://hdl.handle.net/10589/229722