Effects of haptic guidance in telemanipulated robotic surgery scenarios

In surgical robotics, telemanipulated robotic assistance plays a crucial role in guiding and supporting surgeons during procedures. In particular, haptic shared control aids operators in executing precise movements through the application of haptic guidance. Traditionally, the path that the user has planned to follow during surgery is extracted from preoperative images. Then, a registration task between preoperative and intra-operative images is performed, allowing to compute the guidance path in the robot frame. However, unlike orthopaedics or neurosurgery, laparoscopic surgery faces challenges due to the mobile and deformable nature of abdominal anatomy, which makes accurate rigid registration impractical. This would potentially lead to errors, which could generate incorrect guidance that would disturb the user by introducing haptic contrast. To address this challenge, the RDH team of ICube developed an adaptive haptic guidance system capable of correcting task model parameters online based on surgeon’s actions. In particular, the robotic system learns the correct task by relying on the motion performed by the user, thereby providing the correct guidance to the surgeon. Despite obtaining favourable results, the existing research has only been assessed in a limited setup. Therefore, the purpose of this master project is to reproduce more realistic conditions in a simulated environment using Gazebo, where the user controls a virtual UR5e robot through ROS (Robot Operating System) using a real haptic leader interface. Specifically, the project focus on developing and testing in surgical scenarios, where users have access to 2D preoperative plans extracted from Hyperspectral images and to intra-operative visual feedback provided by integrating an endoscopic camera into the simulation. Following scenarios development, different modalities for the realization of the task were assessed in order to evaluate their effectiveness. In particular, the adaptive haptic guidance was tested in order to demonstrate its effectiveness even if the desired path was not shown intraoperatively to the user, thus allowing to go closer to realistic case. Additionally, the impact of the visibility on the intraoperative image of the curve of attraction points of the haptic interface was analysed. Results indicated a preference for adaptive guidance over incorrect guidance or no guidance, regardless of the visibility of the attraction curve. Adaptive guidance also reduced task execution errors on the XY plane when the attraction curve was visible. This project could be a starting point for the development of a more complex simulated surgical setup.

Nella chirurgia robotica, l'assistenza robotica tele-manipolata gioca un ruolo cruciale nel guidare e supportare i chirurghi durante le procedure. In particolare, il controllo aptico condiviso con il robot aiuta gli operatori nell'esecuzione di movimenti precisi attraverso l'applicazione di una guida aptica. Tradizionalmente, il tratto che l'utente ha pianificato di seguire durante l'intervento chirurgico viene estratto dalle immagini preoperatorie. Successivamente, viene eseguita un'attività di registrazione tra le immagini preoperatorie e quelle intra-operatorie, permettendo di determinare il tratto guida nel sistema di riferimento del robot. Tuttavia, a differenza della chirurgia ortopedica o neurochirurgica, la chirurgia laparoscopica affronta sfide complesse a causa della natura mobile e deformabile dell'anatomia addominale, che rende difficile l'accuratezza della registrazione rigida del tratto. Questo potrebbe portare a errori, generando una guida errata che potrebbe disturbare l'utente introducendo un contrasto aptico. Per affrontare questa sfida, il team RDH di ICube ha sviluppato un sistema di guida aptica adattiva in grado di correggere i parametri del modello del task online sulla base delle azioni del chirurgo. In particolare, il sistema robotico impara il task corretto facendo affidamento sul movimento eseguito dall'utente, fornendo così la guida aptica corretta al chirurgo. Nonostante i risultati favorevoli ottenuti, la ricerca esistente è stata testata in un setup limitato. Pertanto, lo scopo di questo progetto è riprodurre condizioni più realistiche in un ambiente simulato utilizzando Gazebo, dove l'utente controlla un robot virtuale UR5e tramite ROS (Robot Operating System) utilizzando un'interfaccia aptica leader reale. In particolare, il progetto si concentra sullo sviluppo di scenari chirurgici, in cui gli utenti hanno accesso a pianificazioni chirurgiche preoperatorie 2D estratte da immagini iperspettrali e a un feedback visivo intra-operatorio fornito dall'integrazione di una telecamera endoscopica nella simulazione. Dopo lo sviluppo degli scenari, sono state testate diverse modalità per la realizzazione del task al fine di valutarne l'efficacia. In particolare, è stata testata la guida aptica adattiva per dimostrarne l'efficacia anche quando il tratto chirurgico desiderato non è mostrato nell’immagine intra-operatoria all’utente, permettendo di avvicinarsi maggiormente a un caso realistico. Inoltre, è stato analizzato l'impatto della visibilità della curva dei punti di attrazione dell'interfaccia aptica sull’immagine intra-operatoria. I risultati hanno indicato una preferenza per la guida adattiva rispetto alla guida errata o all'assenza di guida, indipendentemente dalla visibilità della curva di attrazione. La guida adattiva ha anche ridotto gli errori di esecuzione del task nel piano XY quando la curva di attrazione risulta visibile. Questo progetto potrebbe costituire un punto di partenza per lo sviluppo di un setup simulato chirurgico più complesso.