Evaluating the role of visual and force feedback in a simulated surgical teleoperation system

In the last decades, Minimally Invasive Surgery (MIS), such as laparoscopy, has made it possible to perform several surgical procedures, presenting many advantages over traditional open surgery. MIS involves smaller incisions allowing for reduced scarring, a lower risk of infection, faster recovery times, and therefore a reduction in the trauma to which the patient is exposed. However, MIS does have some limitations, including a reduced field of view and the lack of dexterity. These limitations have been overcome with the introduction of Robotic-Assisted Minimally Invasive Surgery (RAMIS) and particularly through teleoperation. Teleoperation indicates the remote control of a slave manipulator by a human operator at a remote site. This allows extending the human ability to perform complex surgical tasks on the patient placed remotely, by using a master robot that controls a slave robot interacting with the surgical environment. In particular, bilateral teleoperation provides the surgeons with haptic feedback that allows to give them a realistic sense of touch. Through haptic feedback, the surgeon can feel the interaction force that happens at the remote site between the environment and the surgical tool offering an opportunity to enhance the quality of the surgical task and to decrease the occurrence of potential errors. As a matter of fact, the lack of haptic feedback in teleoperated surgery may lead to dramatic consequences as tissue damage and time-consuming. Currently, research focuses on force feedback and on how important it is for the surgeon to perceive the sensation of touch in different medical procedures such as palpation. On the other hand, without haptic feedback, an experienced surgeon could interpret tissue deformation and behavior to estimate whether or not a tissue is normal or abnormal by relying on visual feedback. In fact, visual feedback alone could compensate for the lack of haptic feedback by the robotic system. The aim of this work is to develop a surgical teleoperation system within an adequate simulation environment, to evaluate how the presence of haptic feedback and/or visual feedback can improve the performance in terms of efficiency and quality of the procedure and execution time. For this purpose, we introduce a bilateral teleoperated system composed of a 7 degrees-of-freedom (DoF) robotic arm lightweight robot LWR4+ (KUKA, Germany), as the slave device, teleoperated by a 6 DoF haptic device Omni Phantom (PHANToM Omni, Geomagic, Morrisville, NC 27560, USA), as the master device; an endoscopic camera that provides video stream and an Iphone X to control the camera. Endoscopic camera control has been provided not only to ensure greater flexibility and a more realistic scenario but it also allows assessing whether, in the absence of force information, visual feedback still provides high performance accuracy or leads to further improvement when integrated with force feedback. The proposed camera control is carried out using sensor data from an iPhone X and performing sensor fusion estimation. The use of a simulation framework is reasoned by the possibility of conducting many experiments under different conditions. After a comparison among the most commonly used environments, AMBF, Asynchronous Multi-Body Framework, has been chosen. It provides a ROS-topic communication, support for soft-bodies, it handles complex closed-loop robots, and a real-time dynamic simulation of multi-bodies coupled with real-time haptic interaction via several haptic devices. The scene in simulation has been adapted and recreated according to the needs of this thesis and the simulation’s physics solver has been modified to extract force information subsequently sent to the haptic device. Tests have been conducted under different conditions (with and without force information) and with different set-ups (using a fixed endoscope and a mobile endoscope). In particular, two different tasks have been designed. To assess which configuration was offering the best outcome, motion-related parameters have been recorded during task execution and used to calculate metrics used in performance evaluation. Experimental results showed that by providing the user with force feedback, performance improved. Specifically, haptic feedback allowed the user to compensate for the lack of depth information when using a fixed endoscope. On the other hand, visual feedback was sufficient to achieve performance comparable to that obtained with force feedback when the user was offered the opportunity to move the endoscope thus improving their field of view.

Negli ultimi decenni, la chirurgia mininvasiva (MIS), come la laparoscopia, ha reso possibile l’esecuzione di diverse procedure chirurgiche presentando, rispetto alla chirurgia tradizionale, molti vantaggi. La MIS infatti prevede incisioni di ridotte dimensione permettendo di ottenere una ridotta cicatrizzazione, un minor rischio di infezione, tempi di recupero più rapidi, per cui una diminuzione del trauma a cui il paziente è sottoposto. Tuttavia la MIS presenta alcuni limiti tra cui un campo visivo ridotto e la mancanza di manualità nel movimento. Tali limiti sono stati superati con l’introduzione della chirurgia mininvasiva robot-assistita (RAMIS) e in particolare con i sistemi teleoperati. La teleoperazione indica il controllo a distanza di robot da parte del chirurgo. Ciò permette di estendere la capacità umana di eseguire task chirurgici complessi sul paziente da remoto, attraverso l’utilizzo di un robot master che controlla un robot slave che interagisce con l’ambiente chirurgico. In particolare, la teleoperazione bilaterale fornisce al chirurgo un feedback di forza che permette di dare loro un senso realistico del tatto. Attraverso la teleoperazione bilaterale, il chirurgo può avvertire la forza di interazione che avviene nel sito remoto tra l’ambiente e lo strumento chirurgico, portando ad un miglioramento della qualità del task chirurgico e ad una diminuzione di potenziali errori. Infatti, la mancanza di feedback aptico nella teleoperazione può portare a conseguenze critiche come danni ai tessuti e consumo di I tempo. Attualmente la ricerca si focalizza sul feedback di forza e su quanto sia importante per il chirurgo percepire la sensazione del tatto in diverse procedure mediche come la palpazione. D’altra parte, senza feedback aptico, un chirurgo esperto potrebbe interpretare la deformazione e il comportamento del tessuto per stimare se questo sia un tessuto sano o tumorale, affidandosi solo al feedback visivo. Il feedback visivo potrebbe, infatti, compensare la mancanza di feedback aptico da parte del sistema robotico. Lo scopo di questo lavoro è quello di sviluppare un sistema di teleoperazione chirurgica all’interno di un adeguato ambiente di simulazione, per valutare come la presenza di un feedback di forza e/o un feedback visivo possano migliorare le prestazioni in termini di efficienza e qualità della procedura e in termini di tempo di esecuzione. A tal proposito, introduciamo un sistema di teleoperazione bilaterale composto da un braccio robotico a 7 gradi di libertà (DoF) LWR4+ (KUKA, Germania), come slave device, teleoperato da un dispositivo aptico a 6 DoF Omni Phantom (PHANToM Omni, Geomagic, Morrisville, NC 27560, USA), come master device; una telecamera endoscopica che fornisce un video stream e un iPhone X per il controllo della telecamera. Tale controllo è stato realizzato non solo per garantire una maggiore flessibilità e uno scenario più realistico ma anche perché, una camera endoscopica mobile permette di valutare se, in assenza di informazioni sulla forza, il feedback visivo fornisce comunque un’elevata precisione delle prestazioni o se porta ad un ulteriore miglioramento quando integrato con il feedback di forza. Il controllo proposto della telecamera è stato effettuato utilizzando dati provenienti dai sensori di un iPhone X ed eseguendone l’elaborazione tramite sensor fusion. L’impiego di un framework di simulazione è motivato dalla possibilità di condurre molti esperimenti in condizioni diverse. Dopo un confronto tra gli ambienti più comunemente usati, è stato scelto AMBF, Asynchronous multi-body framework. AMBF fornisce una comunicazione basata su ROS-topic, supporto per i corpi morbidi, permette una simulazione dinamica in tempo reale di multi-bodies, la connessione di diversi dispositivi aptici e gestisce robot complessi. La scena in simulazione è stata adattata e ricreata secondo le esigenze di questa tesi e il physics solver della simulazione è stato modificato per estrarre le informazioni sulla forza successivamente inviate al dispositivo aptico. Sono stati condotti test in diverse condizioni (con e senza feedback di forza) e con diversi set-up (con l’utilizzo di un endoscopio fisso e mobile). In particolare sono stati progettati due diversi task. Per valutare quale configurazione offriva il miglior risultato, parametri relativi al movimento sono stati registrati durante l’esecuzione dei task e utilizzati per calcolare le metriche utilizzate nella valutazione delle performance. I risultati sperimentali hanno dimostrato che, fornendo all’utente un feedback di forza, la performance migliorava. In particolare, il feedback aptico consentiva di compensare la mancanza di informazioni sulla profondità quando si usava un endoscopio fisso. D’altra parte, il feedback visivo è risultato sufficiente per raggiungere delle performance comparabili a quelle ottenute con il feedback di forza, quando si offriva all’utente la possibilità di muovere l’endoscopio quindi di migliorare il proprio campo visivo.