Augmented human-robot collaboration framework for robot-assisted surgery

Robotic systems have been widely integrated into surgical applications considering the dexterity, high positioning capability, and improved ergonomics. However, several challenges in combining assistance from autonomous robotic systems and the control authority from surgeons still need to be addressed and investigated. For example, how to improve the surgeon’s perception capability during the task execution (e.g., intuitive visualization, hand trembling elimination, muscle fatigue avoidance), how to improve task completion efficiency (e.g., shorten time cost, reduce trauma for faster recovery), and safety issues (e.g., the system stability, contact force magnitude). In this thesis, augmented reality (AR) and human-robot collaboration frameworks have been implemented for surgical scenarios to improve task completion performance from three different perspectives and aim to (i) improve surgeons’ perception capability using the AR-based interface; (ii) enhance the level of autonomy of the robotic system for semi-autonomous surgical task execution; (iii) ensure the safety and system stability during the teleoperated robot-assisted medical contact-rich scenarios. The thesis details and main works in each chapter are summarized below. In Chapter 2, an AR visualization and human-robot collaboration framework is developed for performing the percutaneous nephrolithotomy (PCNL) procedures. Specifically, an optical see-through head-mounted display (OST-HMD) is exploited to intuitively display the patient’s anatomical structure, assist the surgeon in preoperative collision-free needle insertion path planning, and provide the surgeon with real-time visual guidance during the PCNL procedures. Moreover, a robotic guidance strategy is integrated to assist the surgeon in navigating to the target position, e.g., removing kidney stones, thereby enhancing the overall performance of the PCNL task. Experiment results demonstrate that the proposed framework achieves better task completion performance regarding accuracy in both translation and orientation, time cost, and perceived workloads during the PCNL procedures compared to conventional 2D monitor-based visualization and manual needle insertion modalities. In Chapter 3, a human-robot skills transfer framework is proposed to enhance the Level of Autonomy (LoA) of the surgical robotic systems, which leverages robot learning and AR visualization within a mimic tumor resection Minimally Invasive Surgery (MIS) task. Initially, human demonstrations are captured using an external optical tracking system and a passive handheld tool. These demonstrations are then modeled using the Gaussian Mixture Model (GMM) and Gaussian Mixture Regression (GMR) techniques to reproduce the demonstrated trajectories precisely. To facilitate the transfer of these human-demonstrated trajectories to a physical robot for semi-autonomous execution, the robot's configuration is visualized in real-time through an OST-HMD during the demonstration phase, under the constraint of the Remote Center of Motion (RCM) incision point on the patient's abdominal cavity. In Chapter 4, a novel variable impedance control (VIC) strategy is introduced to address medical contact-rich tasks such as palpation, ultrasound imaging, and tissue manipulation, focusing on force modulation and system passivity regulation. The proposed strategy employs a closed-loop VIC framework to mitigate potential instability during tool-tissue interactions, which can arise from the dynamic environment, anisotropic tissue properties, and inherent tissue deformation issues. The proposed framework can precisely track the desired contact force by dynamically adjusting the robot's stiffness, utilizing a Quadratic Programming (QP)-based optimization approach. Furthermore, an energy tank-based method is integrated into the control loop to ensure the system's passivity throughout task execution. Chapter 5 extends the work in Chapter 4 and advances the development of an active compliant and passive human-robot shared control framework for robot-assisted contact-rich tasks in a teleoperation paradigm. Inspired by the human operator's ability to dynamically regulate arm impedance during such tasks, the VIC schema introduced in Chapter 4 is leveraged to modulate contact forces. Moreover, the "one-step perception" approach to the environment is employed to set appropriate parameters for the initialization of Cartesian impedance control, facilitating effective contact force modulation. To further reduce the human operator's workload, bilateral teleoperation and shared control strategies are implemented. Furthermore, an energy tank-based approach is incorporated to ensure system passivity. Unlike the single energy tank utilized on the robot side in Chapter 4, a global energy tank encompassing energy from both the local "human leader" and the remote "robot follower" is formulated, thereby ensuring the passivity of the entire system.

I sistemi robotici sono stati ampiamente integrati nelle applicazioni chirurgiche grazie alla loro destrezza, all'elevata capacità di posizionamento e alla migliore ergonomia. Tuttavia, combinare l’assistenza dei sistemi robotici autonomi con la presenza del chirurgo presenta diverse sfide che devono ancora essere affrontate e studiate. Ad esempio, come migliorare la capacità percettiva del chirurgo durante l'esecuzione del task chirurgico (ad esempio, con una visualizzazione intuitiva, l'eliminazione del tremore delle mani, la prevenzione dell'affaticamento muscolare), come migliorare l'efficienza nel completamento del task (ad esempio, con la riduzione dei tempi, la riduzione del trauma per un recupero più rapido), e come garantire la sicurezza (ad esempio, la stabilità del sistema e l'entità della forza di contatto). In questa tesi, sono stati implementati framework di realtà aumentata (RA) e collaborazione uomo-robot per scenari chirurgici, al fine di migliorare le prestazioni nel completamento dei task da tre diverse prospettive e mirare a (i) migliorare la capacità percettiva dei chirurghi tramite un'interfaccia basata su RA; (ii) migliorare il livello di autonomia del sistema robotico per l'esecuzione dei task chirurgici semi-autonomi; (iii) garantire la sicurezza e la stabilità di un sistema robotico teleoperato durante scenari medici caratterizzati da contatti frequenti. I dettagli della tesi e i principali lavori di ciascun capitolo sono riassunti di seguito. Nel Capitolo 2, è stato sviluppato un framework di visualizzazione di RA e di collaborazione uomo-robot per l'esecuzione di procedure di nefrolitotomia percutanea (PCNL). In particolare, è stato utilizzato un visore di realtà aumentata per visualizzare in modo intuitivo la struttura anatomica del paziente, assistere il chirurgo nella pianificazione preoperatoria dell’inserimento dell'ago evitando collisioni, e fornire al chirurgo una guida visiva in tempo reale durante le procedure di PCNL. Inoltre, è stata integrata una strategia di guida robotica per assistere il chirurgo nella navigazione verso la posizione desiderata, ad esempio per la rimozione dei calcoli renali, migliorando così le prestazioni complessive del task di PCNL. I risultati degli esperimenti hanno dimostrato che il framework proposto raggiunge prestazioni migliori in termini di accuratezza sia nella traslazione che nell'orientamento, di tempo impiegato e di carico di lavoro percepito durante le procedure di PCNL rispetto alle modalità di visualizzazione tradizionali basate su monitor 2D e all’inserimento manuale dell'ago. Nel Capitolo 3, è stato proposto un framework per il trasferimento di competenze uomo-robot per migliorare il livello di autonomia (LdA) dei sistemi robotici chirurgici, sfruttando l'apprendimento robotico e la visualizzazione RA in un compito di resezione tumorale effettuata tramite chirurgia mininvasiva. Inizialmente, le dimostrazioni umane sono state acquisite utilizzando un sistema di tracciamento ottico esterno e uno strumento portatile passivo. Queste dimostrazioni sono poi state modellate utilizzando un Gaussian Mixture Model (GMM) e Gaussian Mixture Regression (GMR) per riprodurre con precisione le traiettorie mostrate. Per facilitare il trasferimento di queste traiettorie dimostrate dall'uomo ad un robot fisico per l'esecuzione semi-autonoma, la configurazione del robot viene visualizzata in tempo reale attraverso un visore durante la fase di dimostrazione, rispettando il vincolo del punto di incisione, chiamato centro di movimento remoto (RCM), sulla cavità addominale del paziente. Nel Capitolo 4 viene introdotta una nuova strategia di controllo a impedenza variabile (VIC) per affrontare compiti medici che richiedono un contatto intensivo, come la palpazione, l’ecografia e la manipolazione dei tessuti, concentrandosi sulla modulazione della forza e sulla regolazione della passività del sistema. La strategia proposta impiega un framework VIC ad anello chiuso per mitigare le potenziali instabilità durante le interazioni tra lo strumento e il tessuto, che possono derivare dall'ambiente dinamico, dalle proprietà anisotropiche dei tessuti e dai problemi di deformazione intrinseca dei tessuti stessi. Il framework proposto è in grado di tracciare con precisione la forza di contatto desiderata regolando dinamicamente la rigidità del robot, utilizzando un approccio di ottimizzazione basato sulla programmazione quadratica (QP). Inoltre, un metodo basato su “energy tank” è integrato nell'anello di controllo per garantire la passività del sistema durante l'esecuzione del task. Il Capitolo 5 amplia il lavoro del Capitolo 4 e avanza nello sviluppo di un framework di controllo condiviso attivo e passivo per compiti che richiedono un intenso contatto fisico in un paradigma di teleoperazione robotica assistita. Ispirandosi alla capacità dell'operatore umano di regolare dinamicamente l'impedenza del braccio durante tali task, lo schema VIC, introdotto nel Capitolo 4, è stato sfruttato per modulare le forze di contatto. Inoltre, l'approccio di “percezione dell'ambiente in un solo passaggio” è stato utilizzato per impostare i parametri adeguati all'inizializzazione del controllo di impedenza cartesiana, facilitando la modulazione efficace delle forze di contatto. Per ridurre ulteriormente il carico di lavoro dell'operatore umano, sono state implementate strategie di teleoperazione bilaterale e di controllo condiviso. Inoltre, per garantire la passività del sistema, è stato incorporato un approccio basato su serbatoio di energia. A differenza del singolo serbatoio di energia utilizzato dal lato robotico nel Capitolo 4, è stato sviluppato un serbatoio di energia globale che comprende l'energia del “leader umano” locale che del “robot follower” remoto, garantendo così la passività dell'intero sistema.