Real-time solution for long-term tracking of soft tissue deformations in surgical robots

Robot-assisted surgery (RAS) is a type of surgery performed by a robotic system in collaboration with a surgeon-operator. Despite the numerous benefits introduced by robotic systems in Minimally Invasive Surgery (MIS), complications (such as intra-operative bleeding) are still plausible and likely to affect the outcome of the procedure. Blood vessels can be accidentally damaged by unintentional contact with surgical tools, or by motion in sub-surface areas which are not visible to the operator. Assistive guidance tools represent a possibility to correct surgical gestures and are a big step forward towards safer procedures in the Operating Room (OR). The only component of a surgical robot that can provide insight of the interaction between surgical tools and the protected vessels is an endoscope equipped with a stereo camera. Creating an image analysis framework that can provide stable, robust and noise invariant solution for real-time implementation in a surgery, is yet to be overcome. However, once done, an assistive tool can be provided to surgeons that will correct the tool movement and notify them if a critical tissue is in danger of being injured. The introduction of Active Constraints (AC) is the first step towards safer surgeries, and this thesis is providing a tracking tool that will transform the AC accordingly in real-time during surgical procedures. The aim of this thesis is to develop a computer vision algorithm to robustly track areas of soft tissue, defined intra-operatively by a surgeon-operator based only on a real-time endoscopic video stream. The proposed framework combines feature tracking and adaptive recognition algorithms to track, localize and redefine the considered soft tissue after a tracking failure has occurred due to occlusion or severe deformation. The performance is assessed on two datasets, representing a controlled environment and a real-world in-vivo pancreatectomy. The results demonstrate that the proposed method successfully tracks and rediscovers the region of interest with good performance while maintaining real-time computing.

Un intervento Robot-Assistito è un tipo di intervento effettuato da un chirurgo in collaborazione con un sistema robotico. Nonostante i numerosi benefici che un intervento Robot-Assistito ha introdotto nell’ambito degli interventi poco invasivi, alcune complicazioni (come le perdite di sangue durante l’intervento stesso) sono ancora possibili ed essi possono condizionare il risultato finale dell’operazione. I vasi sanguigni possono essere danneggiati da un contatto accidentale con gli strumenti chirurgici, o attraverso un movimento che avviene sotto la superficie di un’area non visibile dal chirurgo. Una possibile soluzione per la correzione dei movimenti chirurgici sono gli strumenti di guida che rappresentano un notevole passo avanti verso procedure sempre più sicure all’interno delle Sale Operatorie. L’unico componente di un robot chirurgico che può fornire informazioni riguardo l’interazione tra strumenti chirurgici e vasi sanguigni protetti, è un endoscopio equipaggiato con una stereo-camera. Creare un framework di analisi delle immagini che può fornire una soluzione stabile, robusta e non affetta da rumore della dinamica che circonda questo tipo di intervento, è un obbiettivo ambizioso. In ogni modo, una volta raggiunto, strumenti di assistenza basati su questo framework possono affiancarsi al chirurgo che correggerà i movimenti errati e li notificherà nel caso in cui un tessuto critico corre il pericolo di essere danneggiato. L’introduzione di vincoli attivi è il primo passo verso interventi sempre più sicuri. Questa tesi illustra lo sviluppo di un sistema di tracciamento di vincoli attivi in grado di lavorare in tempo reale durante l’intervento stesso. Lo scopo di questa Tesi è infatti quello di sviluppare un algoritmo di visione artificiale per tracciare in modo robusto i tessuti morbidi, che il chirurgo, basandosi su una visualizzazione su schermo in tempo reale, definisce durante l’intervento. Il metodo proposto combina algoritmi di tracciamento e di riconoscimento additivi per tracciare, localizzare e ridefinire i tessuti morbidi considerati dopo che è stato rilevato un errore dovuto a una mancanza di visuale o a una deformazione. Il risultato è stato valutato su sue insiemi di dati sperimentali, rappresentanti un ambiente controllato e una pancreatectomia in-vivo. I risultati hanno dimostrato che i metodi proposti tracciano e riscoprono con alti valori di successo le regioni di interesse su tutte le metriche delle prestazioni calcolate, mantenendo un calcolo in tempo reale.