AIM OF THE WORK Robotic minimally invasive surgery (RMIS) is now an established alternative to open and laparoscopic surgery for the treatment prostate cancer. Robotic instruments offer increased dexterity and enhance surgical ergonomics through tele-operation, which helps surgeons to operate with less invasive approaches and results in a range of benefits for the patient like faster recovery time, less pain and reduced tissue trauma. As a result, robotic surgical platforms like the da Vinci Surgical System by Intuitive Surgical (Sunnyvale, CA) are facilitating an increasing number of complex procedures to be performed through RMIS. Despite the growing RMIS take-up, automation through the robotic platform is not currently available but if possible it could assist surgeons by helping and also standardising simple procedural tasks and even potentially removing errors. Robot-assisted laparoscopic prostatectomy (RALP) consists of nerve sparing removal of carcinogenic prostate tissue. The surgical operation and work-flow consists of different steps that can be performed with some variation in their order, namely: lymph node and posterior dissection, incision and mobilisation of bladder and prostate, cancer excision, and after having completely removed the prostate, urethrovesical anastomosis. Each of these can in turn be broken down into sub-steps within a full surgical procedure ontology. After the removal of the prostate, urethrovesical anastomosis is performed and it is one of the most dexterity demanding phase during prostatectomy. Two main suturing techniques are used: interrupted suturing and running anastomosis (the Van Velthoven technique). When using the da Vinci system, the dexterity of the endo-wrist technology helps significantly with suturing. Because the sutures can be placed at almost any angle, the running approach is normally preferred. Focusing on the phases of suturing during urethrovesical anastomosis, when the suturing phase starts, the surgical assistant introduces two circular needles inside the patient through a trocar using a Laparoscopic Neddle Grasper. These needles are used in combination with two robotic grasping instruments in order to perform a running stitch between the bladder neck and the urethra. Before reaching the proper configuration for starting the suture process, the surgeon passes the needle between the two tools, hands-off phase, in order to precise locate it inside the grasper. Normally multiple hand-offs are required to optimise the needle position, since the manoeuvrability of the tool is fully surgeon controlled, and better robotic instrument joints configuration could practically be computed to simplify the grasping phase. There may be slight variation in the general hand-offs’ execution according to the individual surgeon’s dexterity and experience which could be optimised to an agreed gold standard. While robotic instruments provide enhanced dexterity to perform the anastomosis, it is still highly challenging and difficult to learn. In this thesis, the aim of our work is to build the vision and robotic control algorithms required towards automation of needle grasping before robotic assisted suturing begins. We believe that optimal needle grasping can avoid hand-offs steps, reducing the amount of time required for vescicourethral anastomosis. Our approach includes an vision algorithm for needle tracking, a visual servoing system for the approaching phase and a needle grasping optimisation planning based on best practice of suturing in teleoperation mode. In all our experiments, we used one needle and one patient side manipulator (PSM) but in principle the procedures can be simply duplicated in order to use multiple PSMs or needles. We report preliminary results of the calibration accuracy needed for our system to close the visual-servoing loop are promising and we show qualitative demonstrations of needle grasping practically. STRUCTURE In the First Chapter a general introduction is made. The da Vinci Surgical System is described into details in all its components. Follows a general characterization of the prostate cancer and the surgical procedure adopted. This chapter ends with the exposition of the aim of the work. The Second Chapter sets the background of the state-of-the art for surgical task automation. A general introduction regarding the importance of the studied task is followed by two sub-chapter: automated grasping and automated suturing. The automation of the more general grasping task is a really hot topic in the literature. It represent one of the most common task to be automatise in case of humanoid robots. There are slightly variation when this task is applied in minimal invasive surgery. On the other hand, the automation of the suturing task represent a exploited topic in the surgical literature. Despite all, the initial phase, on which this thesis is focused, seems to be still unclear. In the Third Chapter an initial definition of the experimental set-up lays the bases for the method implementation. The entire set-up is described both from the hard-ware and soft-ware point of view, with particular references to the da Vinci Research Kit (dVRK). Then follow a description of all the methods involved. The system calibration is introduced with a general overview. Endoscope’s calibration, workspace’s calibration and robot’s calibration are then described into details. There is a general description of the needle tracking algorithm used, followed by the explanation of the Visual Servo Control (VSC) mechanism. Lastly, the propose inverse Kinematics solution is detailed. The problem is defined in this section in term of image processing and motion planning. The Fourth Chapter shows the result of the system performances. First, there is an accuracy evaluation of the system based on the transformation involved. The results obtained in the experimental protocol are then divided according to the approaching phase and the final grasping. In the Fifth Chapter a discussion of findings and some planned future work is presented in this final section. MATERIALS AND METHODS The first generation of da Vinci equipped with the da Vinci Research Kit (dVRK) was used for the experiment. The component-based software system is based on the open- source cisst/SAW package software. A three ROS node architecture was implemented: the first node deals with the video streaming acquisition from the stereo endoscope. In the second one the needle tracking algorithm generates the position of the needle itself. The third node computes the reconstruction of the needle in the 3D space and the inverse kinematics in order to define the necessary joint values for computing the motion of the PSM. The input of the system is represented by the video streaming coming from the endoscope that is pointing towards the workspace where circular needle with three green markers is manually held by a laparoscopic grasper. The position of the suture needle is then reconstructed in the 3D space in order to define a specific targeted point to use as a guidance for the PSM motion. The system relays on different calibrations in order to be able to know all the trans- formations among the different reference frames: for the endoscope stereo calibration a chess board was used to determine the intrinsic parameters of both cameras, the pose of the right one in respect of the left one and the pose of the left camera in respect of the workspace reference frame system. The robot-workspace calibration computes the transformation between the da Vinci remote centre of motion, in respect of which the robot Direct Kinematic is computed, and the workspace. The tracking algorithm, used for detecting the region of interest (ROI), receives as input frames coming from the endoscope streaming from both cameras (25 frames per second). Our tracking method uses the tracking-by-detection framework, the object is represented by a patch-based descriptor which is weighted by an effective colour-based segmentation model to suppress the background information. The object appearance is updated overtime using structured output support vector machines (SVM) on-line learning techniques. The output of this algorithm are the pixels’ values of the contoured region of interest. We calculate the centroids of these ROI as output for both cameras. These points are used as a visual servoing guidance for controlling the robot motion. The Inverse Kinematics part aim to directly control the solution coming from the inverse kinematic for defining particular joint values that allow grasping the needle according to a particular orientation of the endo-wrist. Video coming from the surgical practice were analysed in order to define a proper configuration of the last three joints of the robotic arm. Based on these values and on the geometry of the tool a particular inverse kinematics solution was adopted in order to guarantee the desired tool configuration. The experimental protocol is based on a three-step needle motion inside the workspace in order to analyse how to robotic tools is able to follow this motion and grasping the needle when no more variation in terms of needle’s positions are detected. 40 repetitions of the task were made. RESULTS Major results are obtained from the calibration accuracy. To verify the accuracy of the manual acquisition in tele-operative mode, a scanning procedure of the three perpendicular planes was executed, the these clouds of points were interpolated with three perpendicular planes. The error was computed as mean value of the Euclidean distance of each point from the respective plane, obtaining as a final result 0.9 mm. For the robot-workspace transformation a final error of 1.2 mm was obtained and it was computed as the Euclidean distance between the points in the workspace reference frame system and the same points acquired with the robot tool and mapped in the workspace through the transformation. The accuracy related to camera pose in respect of the workspace was quantified measuring the distance between the chessboard corners and the same points detected into the left frame and mapped into workspace reference frame system through the analysed transformation. Among 20 points, an error of 0.88 mm was reached. Approaching phase - For 32 trials out of 40 the task was correctly concluded with a proper grasp of the needle. In 3 cases over 40, the LDN properly approaches the needle but without being able to compute the grasping phase missing the needle for less than 4,8mm as Euclidean distance computed knowing the three components along the three axes. In the last 5/40 the LND reached a position further away than 20 mm measured as explained before, failing the task. Generally, the z-axis is characterized by a bigger error compared to the other two axes. This result is address to the 3D reconstruction phase; as a matter of fact, the main issue is always represented by the depth estimation of the object. Grasping phase - In all the 15 acquisitions the error between the desired position and the current joint position was always small enough to guarantee the grasping of the needle. The average error among all the acquisition is 3.2 mm. The da Vinci mechanics are not infinitely stiff. In addition there are small, unmodeled non-linearities and calibration errors. Kinematics calculations are therefore imperfect. For clinical applications to date, orientation has been comparatively more important than absolute tip position knowledge (da Vinci even allows a master clutch that deliberately adds an arbitrary offset to the master/slave tip position relationship in the tele-operative modality). Repeatability is much better than absolute accuracy. Compliance of the instrument wrist mechanism is the largest source of angular error, but its small lever arm means that its error added to absolute accuracy, repeatability, and precision is small, on the order of 4 mm of variance. Absolute accuracy, repeatability and precision of the robot system have been analysed in tele-operation environment, the results obtained in this paper reflect the same values in an automatic-motion scenario. Regarding the entire time acquired for completing the task, in our case, it was 8 seconds. This value highly depends on the followed three steps trajectory. Compared to reality, the time required intra-operative for completing this task could be affected by surgeon dexterity. Ideally, the system is thought to decrease the operational time related to this phase since it does not require the hand-off phase any more in order to start the suturing position. Hence, the overall time execution will just depend on how much the surgeon’s assistant will variate the position of the needle inside the operational site. CONCLUSIONS Initial experiments presented in paper show that automatic aspects of surgical tasks is realisable. The system we presented can computationally plan and execute needle grasping based on visual tracking of simple fiducials on the suturing needle. Our introduction of a pick-up position allows us to potentially avoid the initial passing phase between the two PSMs prior to suturing. Several difficult challenges do remain however. One is increasing the repeatability and the speed of the system by computational optimisation of the full pipeline and implementing in lower level programming languages. A second is experiments in more realistic conditions, possibly within ex vivo tissue and evaluating robustness. User studies and exploring the interface of using a surgical assist system also needs explorations. Our results also show that the proposed needle tracking system can provide robust estimation of needle pose, almost in real-time albeit with markers, which could in principal be removed with more robust algorithm. Tracking failed in cases when the PSM tool was really close to the needle, generating abnormal error in the ROIs’ detection, most likely due to occlusion and a lack of robust template updating of the appearance representation. We used a manual initial definition of the ROIs which is not realisable in practice and contributed to error because initialisation needed to be really close to the marker and ad-hoc defined region sizes increased error. Tracking by detection would be a much more elegant approach to realising the vision-based aspects of our method especially if we incorporate information about the 3D geometry of the needle.

SCOPO DEL LAVORO La Chirurgia Robotic Mini-Invasiva (RMIS) è ora una valida alternativa alla chirurgia ad addome aperto e a quella laparoscopica per il trattamento del cancro alla prostata. Gli strumenti robotici offrono una maggiore destrezza e migliorano l’ergonomia chirurgica attraverso l’utilizzo della tele-operazione, che consente di aiutare i chirurghi a operare con approcci meno invasivi e comporta numerosi vantaggi per il paziente tra cui tempi di recupero più rapidi, meno dolore e riduzione del trauma tissutale. Le piattaforme chirurgiche robotiche, come il Sistema Chirurgico da Vinci della Intuitive Surgery (Sunnyvale, CA), stanno facilitando un numero via via crescente di procedure complesse da eseguire tramite RMIS. Nonostante il crescente utilizzo della chirurgia robotica mini invasiva, automatizzare operazioni attraverso piattaforme robotiche non risulta ancora attualmente possibile. L’introduzione di tasks eseguiti automaticamente da queste piattaforme robotiche alleggerirebbe il carico di lavoro del chirurgo, svolgendo semplici operazioni che aiuterebbero inoltre a diminuendo la probabilità di possibili errori. La Prostatectomia Laparoscopica Robotica Assistita (RALP) è un intervento chirur- gico che prevede la rimozione della prostata, cercando di preservare i tessuti nervosi. L’operazione chirurgica, o più in generale l’intero flusso di lavoro, è articolata in diverse fasi: si ha un’iniziale dissezione dei linfonodi e della parte posteriore tra prostata e intestino, seguita da l’incisione e mobilizzazione della vescica e della prostata, con- sentendo la rimozione del tessuto cancerogeno che prevede l’asportazione dell’intera prostata e, come ultima fase, sutura del collo dell’uretra alla vescica per ristabilire il collegamento. Ciascuno di questi passaggi a sua volta può essere suddiviso in operazioni ancora più semplici definite all’interno di una completa ontologia chirurgica. L’ultima fase dell’operazione, come accennato, prevede una complessa operazione di sutura che rappresenta attualmente una delle fasi più complesse dell’intera procedura chirurgica. Durante questa fase, possono essere utilizzate due principali tecniche di sutura: inter- rotta o anastomosi continua (meglio nota come Tecnica di Van Velthoven). Quando viene utilizzato il sistema chirurgico da Vinci, l’elevata destrezza che caratterizza questa tecnologia comporta significativi vantaggi in questo processo in quanto la mobilità degli strumenti può essere completamente sfruttata. Poiché i punti di sutura possono essere posizionati quasi in tutte le direzioni, l’anastomosi continua viene preferita rispetto a quella interrotta. Analizzando più nel dettaglio questo processo, quando il chirurgo ha completato la rimozione della prostata e si appresta a iniziare la fase di sutura, l’assistente di sala introduce due aghi circolari all’interno del paziente tramite le ap- posite porte utilizzando un dispositivo di afferraggio laparoscopico. Gli aghi vengono successivamente utilizzati contemporaneamente con due strumenti robotici per suturare in maniera circolare il collo dell’uretra alla vescica. Prima di iniziare l’effettiva fase di sutura il chirurgo manipola ciascun ago tra i due dispositivi in modo da poterlo ori- entare nella corretta posizione rispetto al tessuto da suturare. Normalmente questa fase prevede più passaggi dell’ago tra i due strumenti, noti come hand-offs. Tale necessità deriva dal fatto che l’intera manovrabilità del sistema è controllata dal chirurgo stesso. Nonostante questa tecnologia fornisca numerosi vantaggi la curva di apprendimento rimane tutt’ora molto elevata. L’obbiettivo di questo lavoro è quello di costruire un sistema basato su un algoritmo che utilizza le immagini provenienti dall’endoscopio per automatizzare la fase di afferrag- gio dell’ago prima di iniziare il processo di sutura. Implementando una configurazione ottimale dello strumento è pertanto possibile evitare i passaggi di manipolazione dell’ago, riuscendo a diminuire la quantità di tempo necessaria a completare l’intero processo. L’approccio presentato include un algoritmo per la detezione dell’ago, un sistema per l’inseguimento dell’ago, in caso di movimenti, e la pianificazione di una configurazione ottimale per la fase finale di afferraggio. STRUTTURA All’interno del Primo Capitolo viene presentata un’introduzione generale del prob- lema. Una iniziale descrizione generale del cancro alla prostata con l’attuale procedura chirurgica utilizzata è seguita da una dettagliata descrizione del sistema chirurgico utilizzato, caratterizzando tutte le sue componenti. Il capitolo termina con l’esposizione dell’obiettivo del lavoro. Il Secondo capitolo definisce lo stato dell’arte nell’ambito dell’automazione delle operazioni chirurgiche. Un’introduzione generale sull’importanza della procedura anal- izzata è seguita da due sottocapitoli: il processo di afferragggio automatizzato e sutura svolta in maniera automatica. L’afferraggio di oggetti rappresenta uno dei compiti più comuni da automatizzare in caso di robot umanoidi. Tale compito presenta leggere vari- azioni quando deve essere applicato nell’ambito della chirurgia mini-invasiva. Sebbene l’automatizzazione del task di sutura rappresenti uno degli argomenti più trattati in letteratura, la fase iniziale di afferraggio dell’ago risulta ancora poco studiata. Nel Terzo capitolo viene effettuata un’iniziale descrizione del set-up sperimentare, dal punto di vista hard-ware e soft-ware, per definire la basi per le implementazioni metodologiche. Segue la descrizione di tutte le metodologie applicate. Una generale panoramica sulla calibrazione viene applicata successivamente allo stereo endoscopio, allo spazio di lavoro e al robot. Successivamente viene effettuata una descrizione generale dell’algoritmo di tracking utilizzato per individuare l’ago e come input del sistema di Visual Servo Control (VSC). Infine, viene proposta la soluzione adottata per la cinematica inversa che consente di definire una configurazione del robot tale per cui risulta possibile afferrare l’ago e iniziare immediatamente il processo di sutura. Il problema, all’interno di questa sezione, è definito in termini di elaborazione di immagini e di pianificazione del movimento. Il Quarto capitolo mostra i risultati ottenuti dall’intero sistema. In primo luogo, esiste una valutazione sull’accuratezza del sistema basata sulle trasformazioni coinvolte. I risultati ottenuti nel protocollo sperimentale vengono poi suddivisi in base alla fase di avvicinamento e effettivo afferraggio. All’interno del Quinto Capitolo viene elaborata una discussione dei risultati intro- ducendo alcuni possibili sviluppi futuri. MATERIAL E METODI Per la parte sperimentale è stato utilizzato il da Vinci equipaggiato con il da Vinci Research Kit (dVRK). Le componenti del software si basano su librerie open source, cisst/SAW implementate dalla John Hopkins University. L’architettura software prevede una struttura basata su tre nodi ROS: il primo si occupa dell’acquisizione del video proveniente dall’endoscopio. Nel secondo nodo viene effettuata la localizzazione dell’ago. Mentre nell’ultimo, la posizione dell’ago viene ricostruita nello spazio tridimensionale e viene implementato il calcolo della cinematica inversa per determinare i valori dei giunti necessari a garantire la configurazione desiderata per il movimento. Il sistema prevede come ingresso il video proveniente dall’endoscopio orientato verso lo spazio di lavoro dove è localizzato l’ago di sutura identificabile tramite tre marcatori verdi applicati lungo tutta la sua lunghezza. Il sistema è implementato grazie alla presenza di diverse calibrazioni, che consentono di conoscere tutte le trasformazioni tra i diversi sistemi di riferimento presenti. Per la calibrazione dello stereo endoscopio e per definire la posa dell’endoscopio rispetto allo spazio di lavoro è stata utilizzata una scacchiera. Nel caso della trasformazione tra robot e spazio di lavoro è stato utilizzato l’algoritmo di “abosolute orientation”. L’algoritmo di tracking, utilizzato per rilevare la regione di interesse (ROI), riceve in ingresso i fotogrammi provenienti dall’endoscopio. Tale metodo consente il monitoraggio di ciascuna immagine tramite tracking-by-detection. L’ouput di questo algoritmo è rappresentato dai valori dei pixel relativi alle diverse ROIs, per entrambe le telecamere. Successivamente vengono calcolati i centroidi per ciascuna ROI e utilizzati come punti di controllo per il movimento del robot. Ricostruendo la posizione dell’ago nello spazio è pertanto possibile utilizzare tale informazione come traguardo per il movimento del robot. La cinematica inversa ha come obbiettivo il controllo diretto dei giunti del robot, definendo valori particolari tali da consentire l’afferraggio dell’ago. Un database di video provenienti dalla pratica chirurgica, con rispettivi valori dei giunti provenienti dagli encoder, è stato utilizzato per definire gli ultimi tre valori dei giunti del braccio robotico. Una volta noti tali valori e la geometria dello strumento utilizzato è stato definito un particolare punto nello spazio cartesiano da utilizzare come soluzione della cinematica inversa relativa ai restanti tre giunti. Il protocollo sperimentale è articolato come segue: l’ago viene manualmente afferrato da un operatore tramite uno strumento laparoscopico all’interno dello spazio di lavoro. L’operatore esegue con lo strumento una traiettoria a tre fasi. Questi movimenti vengono rilevati dall’endoscopio e tali informazioni vengono utilizzate per generare il movimento del robot che, a sua volta, segue quello dell’ago fino alla fase di afferragio, quando non vengono più rilevati variazioni in termini di posizione dell’ago nello spazio. L’intero procedimento è stato ripetuto per un totale di 40 acquisizioni. RISULTATI I primi risultati ottenuti riguardano lo studio dell’accuratezza delle trasformazioni presenti nel sistema. Per la trasformazione robot-spazio di lavoro è stato ottenuto un errore finale di 1.2 mm (s.t. 0.9 mm), calcolato come valor medio della distanza euclidea tra i punti nel sistema di riferimento dello spazio di lavoro e gli stessi punti acquisiti con lo strumento del robot e mappati nell’area di lavoro attraverso la trasformazione stessa. Per quanto riguarda la posa della camera rispetto l’area di lavoro, essa è stata quantificata misurando la distanza tra gli angoli della scacchiera e gli stessi punti rilevati nella fotocamera sinistra e mappati nel sistema di riferimento dello spazio di lavoro attraverso la trasformazione analizzata. Con 20 punti analizzati, è stato raggiunto un errore medio di 0.88 mm (s.t. 0.6 mm). Fase di avvicinamento - Per 32 prove su 40 complessive, l’attività è stata cor- rettamente conclusa con una corretta presa dell’ago. In 3 casi su 40, lo strumento robotico si avvicina correttamente all’ago, ma senza poter concludere la fase di presa, mancando l’ago per meno di 4.8 mm (s.t. 0.7 mm), misurati come distanza Euclidea calcolata conoscendo le tre componenti lungo i tre assi. Nelle ultime 5/40 prove, lo strumento robotico ha raggiunto una posizione dall’ago che distava più di 20 mm, misurata come precedentemente descritto. Generalmente, l’asse z è caratterizzato da un errore maggiore rispetto agli altri due assi cartesiani. Questo risultato è indirizzabile alla fase di ricostruzione 3D; infatti, il problema principale è sempre rappresentato dalla stima della profondità dell’oggetto. Fase di presa - In tutte le 15 ripetizioni del compito, l’errore tra la posizione desiderata e la posizione corrente risulta sempre abbastanza piccolo per garantire la presa dell’ago. L’errore medio tra le acquisizioni è di 3.2 mm (s.t. 0.8 mm). I calcoli cinematici presentano tuttavia delle imperfezioni dovute alle calibrazioni e al sistema di cavi su cui si basa lo strumento robotico. La ripetibilità delle operazioni risulta migliore se comparata con la precisione assoluta. L’accuratezza assoluta, la ripetibilità e la precisione del sistema robotico sono state analizzate in ambiente di tele-operazione sebbene i risultati ottenuti si possano applicare anche ad uno scenario automatico. Per quanto riguarda l’intero tempo necessario per completare l’attività, nel nostro caso, è stato di 8 secondi. Questo valore dipende fortemente dalla traiettoria eseguita. In uno scenario reale, il tempo necessario a tale operazione specifica è sicuramente influenzato dalla destrezza del chirurgo e dell’assistente. Idealmente, il sistema automatico dovrebbe ridurre il tempo operativo relativo a questa fase poiché non richiede più la fase di passaggio dell’ago tra gli strumenti per iniziare la fase di sutura. Il tempo relativo alla complessiva esecuzione del compito dipenderà solo da quanto l’assistente varierà la posizione dell’ago all’interno dello spazio di lavoro. CONCLUSIONI Dagli iniziali risultati ottenuti è chiaro che l’automatizzazione del compito studiato risulta realizzabile. Il sistema presentato può eseguire la localizzazione dell’ago e utilizzare dei punti fiduciari per generare il movimento del robot. La soluzione adottata consente la rimozione dei passaggi intermedi di manipolazione dell’ago. Tuttavia, molte sfide rimangono ancora aperte. La ripetibilità e l’intera velocità computazionale del sistema potrebbero essere migliorate implementando l’intero sistema nel medesimo linguaggio di programmazione. Inoltre, effettuare sperimentazioni in condizioni più realistiche, possibilmente con tessuto ex-vivo, contribuirebbe ad una valutazione più accurata della robustezza dell’intero algoritmo. I risultati mostrano inoltre che il sistema di individuazione dell’ago fornisce una stima robusta della sua posa, quasi in tempo reale, anche se è previsto l’utilizzo di marcatori che potrebbero essere rimossi, utilizzando un algoritmo più robusto. Infine, casi fallimentari nella ricostruzione della posizione dell’ago si sono presentati quando lo strumento robotico era posizionato troppo vicino all’ago, generando anomalie nel rilevamento delle ROI.

Automated grasping of suturing needle for robotic surgical assistance

D'ETTORRE, CLAUDIA
2016/2017

Abstract

AIM OF THE WORK Robotic minimally invasive surgery (RMIS) is now an established alternative to open and laparoscopic surgery for the treatment prostate cancer. Robotic instruments offer increased dexterity and enhance surgical ergonomics through tele-operation, which helps surgeons to operate with less invasive approaches and results in a range of benefits for the patient like faster recovery time, less pain and reduced tissue trauma. As a result, robotic surgical platforms like the da Vinci Surgical System by Intuitive Surgical (Sunnyvale, CA) are facilitating an increasing number of complex procedures to be performed through RMIS. Despite the growing RMIS take-up, automation through the robotic platform is not currently available but if possible it could assist surgeons by helping and also standardising simple procedural tasks and even potentially removing errors. Robot-assisted laparoscopic prostatectomy (RALP) consists of nerve sparing removal of carcinogenic prostate tissue. The surgical operation and work-flow consists of different steps that can be performed with some variation in their order, namely: lymph node and posterior dissection, incision and mobilisation of bladder and prostate, cancer excision, and after having completely removed the prostate, urethrovesical anastomosis. Each of these can in turn be broken down into sub-steps within a full surgical procedure ontology. After the removal of the prostate, urethrovesical anastomosis is performed and it is one of the most dexterity demanding phase during prostatectomy. Two main suturing techniques are used: interrupted suturing and running anastomosis (the Van Velthoven technique). When using the da Vinci system, the dexterity of the endo-wrist technology helps significantly with suturing. Because the sutures can be placed at almost any angle, the running approach is normally preferred. Focusing on the phases of suturing during urethrovesical anastomosis, when the suturing phase starts, the surgical assistant introduces two circular needles inside the patient through a trocar using a Laparoscopic Neddle Grasper. These needles are used in combination with two robotic grasping instruments in order to perform a running stitch between the bladder neck and the urethra. Before reaching the proper configuration for starting the suture process, the surgeon passes the needle between the two tools, hands-off phase, in order to precise locate it inside the grasper. Normally multiple hand-offs are required to optimise the needle position, since the manoeuvrability of the tool is fully surgeon controlled, and better robotic instrument joints configuration could practically be computed to simplify the grasping phase. There may be slight variation in the general hand-offs’ execution according to the individual surgeon’s dexterity and experience which could be optimised to an agreed gold standard. While robotic instruments provide enhanced dexterity to perform the anastomosis, it is still highly challenging and difficult to learn. In this thesis, the aim of our work is to build the vision and robotic control algorithms required towards automation of needle grasping before robotic assisted suturing begins. We believe that optimal needle grasping can avoid hand-offs steps, reducing the amount of time required for vescicourethral anastomosis. Our approach includes an vision algorithm for needle tracking, a visual servoing system for the approaching phase and a needle grasping optimisation planning based on best practice of suturing in teleoperation mode. In all our experiments, we used one needle and one patient side manipulator (PSM) but in principle the procedures can be simply duplicated in order to use multiple PSMs or needles. We report preliminary results of the calibration accuracy needed for our system to close the visual-servoing loop are promising and we show qualitative demonstrations of needle grasping practically. STRUCTURE In the First Chapter a general introduction is made. The da Vinci Surgical System is described into details in all its components. Follows a general characterization of the prostate cancer and the surgical procedure adopted. This chapter ends with the exposition of the aim of the work. The Second Chapter sets the background of the state-of-the art for surgical task automation. A general introduction regarding the importance of the studied task is followed by two sub-chapter: automated grasping and automated suturing. The automation of the more general grasping task is a really hot topic in the literature. It represent one of the most common task to be automatise in case of humanoid robots. There are slightly variation when this task is applied in minimal invasive surgery. On the other hand, the automation of the suturing task represent a exploited topic in the surgical literature. Despite all, the initial phase, on which this thesis is focused, seems to be still unclear. In the Third Chapter an initial definition of the experimental set-up lays the bases for the method implementation. The entire set-up is described both from the hard-ware and soft-ware point of view, with particular references to the da Vinci Research Kit (dVRK). Then follow a description of all the methods involved. The system calibration is introduced with a general overview. Endoscope’s calibration, workspace’s calibration and robot’s calibration are then described into details. There is a general description of the needle tracking algorithm used, followed by the explanation of the Visual Servo Control (VSC) mechanism. Lastly, the propose inverse Kinematics solution is detailed. The problem is defined in this section in term of image processing and motion planning. The Fourth Chapter shows the result of the system performances. First, there is an accuracy evaluation of the system based on the transformation involved. The results obtained in the experimental protocol are then divided according to the approaching phase and the final grasping. In the Fifth Chapter a discussion of findings and some planned future work is presented in this final section. MATERIALS AND METHODS The first generation of da Vinci equipped with the da Vinci Research Kit (dVRK) was used for the experiment. The component-based software system is based on the open- source cisst/SAW package software. A three ROS node architecture was implemented: the first node deals with the video streaming acquisition from the stereo endoscope. In the second one the needle tracking algorithm generates the position of the needle itself. The third node computes the reconstruction of the needle in the 3D space and the inverse kinematics in order to define the necessary joint values for computing the motion of the PSM. The input of the system is represented by the video streaming coming from the endoscope that is pointing towards the workspace where circular needle with three green markers is manually held by a laparoscopic grasper. The position of the suture needle is then reconstructed in the 3D space in order to define a specific targeted point to use as a guidance for the PSM motion. The system relays on different calibrations in order to be able to know all the trans- formations among the different reference frames: for the endoscope stereo calibration a chess board was used to determine the intrinsic parameters of both cameras, the pose of the right one in respect of the left one and the pose of the left camera in respect of the workspace reference frame system. The robot-workspace calibration computes the transformation between the da Vinci remote centre of motion, in respect of which the robot Direct Kinematic is computed, and the workspace. The tracking algorithm, used for detecting the region of interest (ROI), receives as input frames coming from the endoscope streaming from both cameras (25 frames per second). Our tracking method uses the tracking-by-detection framework, the object is represented by a patch-based descriptor which is weighted by an effective colour-based segmentation model to suppress the background information. The object appearance is updated overtime using structured output support vector machines (SVM) on-line learning techniques. The output of this algorithm are the pixels’ values of the contoured region of interest. We calculate the centroids of these ROI as output for both cameras. These points are used as a visual servoing guidance for controlling the robot motion. The Inverse Kinematics part aim to directly control the solution coming from the inverse kinematic for defining particular joint values that allow grasping the needle according to a particular orientation of the endo-wrist. Video coming from the surgical practice were analysed in order to define a proper configuration of the last three joints of the robotic arm. Based on these values and on the geometry of the tool a particular inverse kinematics solution was adopted in order to guarantee the desired tool configuration. The experimental protocol is based on a three-step needle motion inside the workspace in order to analyse how to robotic tools is able to follow this motion and grasping the needle when no more variation in terms of needle’s positions are detected. 40 repetitions of the task were made. RESULTS Major results are obtained from the calibration accuracy. To verify the accuracy of the manual acquisition in tele-operative mode, a scanning procedure of the three perpendicular planes was executed, the these clouds of points were interpolated with three perpendicular planes. The error was computed as mean value of the Euclidean distance of each point from the respective plane, obtaining as a final result 0.9 mm. For the robot-workspace transformation a final error of 1.2 mm was obtained and it was computed as the Euclidean distance between the points in the workspace reference frame system and the same points acquired with the robot tool and mapped in the workspace through the transformation. The accuracy related to camera pose in respect of the workspace was quantified measuring the distance between the chessboard corners and the same points detected into the left frame and mapped into workspace reference frame system through the analysed transformation. Among 20 points, an error of 0.88 mm was reached. Approaching phase - For 32 trials out of 40 the task was correctly concluded with a proper grasp of the needle. In 3 cases over 40, the LDN properly approaches the needle but without being able to compute the grasping phase missing the needle for less than 4,8mm as Euclidean distance computed knowing the three components along the three axes. In the last 5/40 the LND reached a position further away than 20 mm measured as explained before, failing the task. Generally, the z-axis is characterized by a bigger error compared to the other two axes. This result is address to the 3D reconstruction phase; as a matter of fact, the main issue is always represented by the depth estimation of the object. Grasping phase - In all the 15 acquisitions the error between the desired position and the current joint position was always small enough to guarantee the grasping of the needle. The average error among all the acquisition is 3.2 mm. The da Vinci mechanics are not infinitely stiff. In addition there are small, unmodeled non-linearities and calibration errors. Kinematics calculations are therefore imperfect. For clinical applications to date, orientation has been comparatively more important than absolute tip position knowledge (da Vinci even allows a master clutch that deliberately adds an arbitrary offset to the master/slave tip position relationship in the tele-operative modality). Repeatability is much better than absolute accuracy. Compliance of the instrument wrist mechanism is the largest source of angular error, but its small lever arm means that its error added to absolute accuracy, repeatability, and precision is small, on the order of 4 mm of variance. Absolute accuracy, repeatability and precision of the robot system have been analysed in tele-operation environment, the results obtained in this paper reflect the same values in an automatic-motion scenario. Regarding the entire time acquired for completing the task, in our case, it was 8 seconds. This value highly depends on the followed three steps trajectory. Compared to reality, the time required intra-operative for completing this task could be affected by surgeon dexterity. Ideally, the system is thought to decrease the operational time related to this phase since it does not require the hand-off phase any more in order to start the suturing position. Hence, the overall time execution will just depend on how much the surgeon’s assistant will variate the position of the needle inside the operational site. CONCLUSIONS Initial experiments presented in paper show that automatic aspects of surgical tasks is realisable. The system we presented can computationally plan and execute needle grasping based on visual tracking of simple fiducials on the suturing needle. Our introduction of a pick-up position allows us to potentially avoid the initial passing phase between the two PSMs prior to suturing. Several difficult challenges do remain however. One is increasing the repeatability and the speed of the system by computational optimisation of the full pipeline and implementing in lower level programming languages. A second is experiments in more realistic conditions, possibly within ex vivo tissue and evaluating robustness. User studies and exploring the interface of using a surgical assist system also needs explorations. Our results also show that the proposed needle tracking system can provide robust estimation of needle pose, almost in real-time albeit with markers, which could in principal be removed with more robust algorithm. Tracking failed in cases when the PSM tool was really close to the needle, generating abnormal error in the ROIs’ detection, most likely due to occlusion and a lack of robust template updating of the appearance representation. We used a manual initial definition of the ROIs which is not realisable in practice and contributed to error because initialisation needed to be really close to the marker and ad-hoc defined region sizes increased error. Tracking by detection would be a much more elegant approach to realising the vision-based aspects of our method especially if we incorporate information about the 3D geometry of the needle.
MOLINARI, FILIPPO
STOYANOV, DANAIL
ING - Scuola di Ingegneria Industriale e dell'Informazione
21-dic-2017
2016/2017
SCOPO DEL LAVORO La Chirurgia Robotic Mini-Invasiva (RMIS) è ora una valida alternativa alla chirurgia ad addome aperto e a quella laparoscopica per il trattamento del cancro alla prostata. Gli strumenti robotici offrono una maggiore destrezza e migliorano l’ergonomia chirurgica attraverso l’utilizzo della tele-operazione, che consente di aiutare i chirurghi a operare con approcci meno invasivi e comporta numerosi vantaggi per il paziente tra cui tempi di recupero più rapidi, meno dolore e riduzione del trauma tissutale. Le piattaforme chirurgiche robotiche, come il Sistema Chirurgico da Vinci della Intuitive Surgery (Sunnyvale, CA), stanno facilitando un numero via via crescente di procedure complesse da eseguire tramite RMIS. Nonostante il crescente utilizzo della chirurgia robotica mini invasiva, automatizzare operazioni attraverso piattaforme robotiche non risulta ancora attualmente possibile. L’introduzione di tasks eseguiti automaticamente da queste piattaforme robotiche alleggerirebbe il carico di lavoro del chirurgo, svolgendo semplici operazioni che aiuterebbero inoltre a diminuendo la probabilità di possibili errori. La Prostatectomia Laparoscopica Robotica Assistita (RALP) è un intervento chirur- gico che prevede la rimozione della prostata, cercando di preservare i tessuti nervosi. L’operazione chirurgica, o più in generale l’intero flusso di lavoro, è articolata in diverse fasi: si ha un’iniziale dissezione dei linfonodi e della parte posteriore tra prostata e intestino, seguita da l’incisione e mobilizzazione della vescica e della prostata, con- sentendo la rimozione del tessuto cancerogeno che prevede l’asportazione dell’intera prostata e, come ultima fase, sutura del collo dell’uretra alla vescica per ristabilire il collegamento. Ciascuno di questi passaggi a sua volta può essere suddiviso in operazioni ancora più semplici definite all’interno di una completa ontologia chirurgica. L’ultima fase dell’operazione, come accennato, prevede una complessa operazione di sutura che rappresenta attualmente una delle fasi più complesse dell’intera procedura chirurgica. Durante questa fase, possono essere utilizzate due principali tecniche di sutura: inter- rotta o anastomosi continua (meglio nota come Tecnica di Van Velthoven). Quando viene utilizzato il sistema chirurgico da Vinci, l’elevata destrezza che caratterizza questa tecnologia comporta significativi vantaggi in questo processo in quanto la mobilità degli strumenti può essere completamente sfruttata. Poiché i punti di sutura possono essere posizionati quasi in tutte le direzioni, l’anastomosi continua viene preferita rispetto a quella interrotta. Analizzando più nel dettaglio questo processo, quando il chirurgo ha completato la rimozione della prostata e si appresta a iniziare la fase di sutura, l’assistente di sala introduce due aghi circolari all’interno del paziente tramite le ap- posite porte utilizzando un dispositivo di afferraggio laparoscopico. Gli aghi vengono successivamente utilizzati contemporaneamente con due strumenti robotici per suturare in maniera circolare il collo dell’uretra alla vescica. Prima di iniziare l’effettiva fase di sutura il chirurgo manipola ciascun ago tra i due dispositivi in modo da poterlo ori- entare nella corretta posizione rispetto al tessuto da suturare. Normalmente questa fase prevede più passaggi dell’ago tra i due strumenti, noti come hand-offs. Tale necessità deriva dal fatto che l’intera manovrabilità del sistema è controllata dal chirurgo stesso. Nonostante questa tecnologia fornisca numerosi vantaggi la curva di apprendimento rimane tutt’ora molto elevata. L’obbiettivo di questo lavoro è quello di costruire un sistema basato su un algoritmo che utilizza le immagini provenienti dall’endoscopio per automatizzare la fase di afferrag- gio dell’ago prima di iniziare il processo di sutura. Implementando una configurazione ottimale dello strumento è pertanto possibile evitare i passaggi di manipolazione dell’ago, riuscendo a diminuire la quantità di tempo necessaria a completare l’intero processo. L’approccio presentato include un algoritmo per la detezione dell’ago, un sistema per l’inseguimento dell’ago, in caso di movimenti, e la pianificazione di una configurazione ottimale per la fase finale di afferraggio. STRUTTURA All’interno del Primo Capitolo viene presentata un’introduzione generale del prob- lema. Una iniziale descrizione generale del cancro alla prostata con l’attuale procedura chirurgica utilizzata è seguita da una dettagliata descrizione del sistema chirurgico utilizzato, caratterizzando tutte le sue componenti. Il capitolo termina con l’esposizione dell’obiettivo del lavoro. Il Secondo capitolo definisce lo stato dell’arte nell’ambito dell’automazione delle operazioni chirurgiche. Un’introduzione generale sull’importanza della procedura anal- izzata è seguita da due sottocapitoli: il processo di afferragggio automatizzato e sutura svolta in maniera automatica. L’afferraggio di oggetti rappresenta uno dei compiti più comuni da automatizzare in caso di robot umanoidi. Tale compito presenta leggere vari- azioni quando deve essere applicato nell’ambito della chirurgia mini-invasiva. Sebbene l’automatizzazione del task di sutura rappresenti uno degli argomenti più trattati in letteratura, la fase iniziale di afferraggio dell’ago risulta ancora poco studiata. Nel Terzo capitolo viene effettuata un’iniziale descrizione del set-up sperimentare, dal punto di vista hard-ware e soft-ware, per definire la basi per le implementazioni metodologiche. Segue la descrizione di tutte le metodologie applicate. Una generale panoramica sulla calibrazione viene applicata successivamente allo stereo endoscopio, allo spazio di lavoro e al robot. Successivamente viene effettuata una descrizione generale dell’algoritmo di tracking utilizzato per individuare l’ago e come input del sistema di Visual Servo Control (VSC). Infine, viene proposta la soluzione adottata per la cinematica inversa che consente di definire una configurazione del robot tale per cui risulta possibile afferrare l’ago e iniziare immediatamente il processo di sutura. Il problema, all’interno di questa sezione, è definito in termini di elaborazione di immagini e di pianificazione del movimento. Il Quarto capitolo mostra i risultati ottenuti dall’intero sistema. In primo luogo, esiste una valutazione sull’accuratezza del sistema basata sulle trasformazioni coinvolte. I risultati ottenuti nel protocollo sperimentale vengono poi suddivisi in base alla fase di avvicinamento e effettivo afferraggio. All’interno del Quinto Capitolo viene elaborata una discussione dei risultati intro- ducendo alcuni possibili sviluppi futuri. MATERIAL E METODI Per la parte sperimentale è stato utilizzato il da Vinci equipaggiato con il da Vinci Research Kit (dVRK). Le componenti del software si basano su librerie open source, cisst/SAW implementate dalla John Hopkins University. L’architettura software prevede una struttura basata su tre nodi ROS: il primo si occupa dell’acquisizione del video proveniente dall’endoscopio. Nel secondo nodo viene effettuata la localizzazione dell’ago. Mentre nell’ultimo, la posizione dell’ago viene ricostruita nello spazio tridimensionale e viene implementato il calcolo della cinematica inversa per determinare i valori dei giunti necessari a garantire la configurazione desiderata per il movimento. Il sistema prevede come ingresso il video proveniente dall’endoscopio orientato verso lo spazio di lavoro dove è localizzato l’ago di sutura identificabile tramite tre marcatori verdi applicati lungo tutta la sua lunghezza. Il sistema è implementato grazie alla presenza di diverse calibrazioni, che consentono di conoscere tutte le trasformazioni tra i diversi sistemi di riferimento presenti. Per la calibrazione dello stereo endoscopio e per definire la posa dell’endoscopio rispetto allo spazio di lavoro è stata utilizzata una scacchiera. Nel caso della trasformazione tra robot e spazio di lavoro è stato utilizzato l’algoritmo di “abosolute orientation”. L’algoritmo di tracking, utilizzato per rilevare la regione di interesse (ROI), riceve in ingresso i fotogrammi provenienti dall’endoscopio. Tale metodo consente il monitoraggio di ciascuna immagine tramite tracking-by-detection. L’ouput di questo algoritmo è rappresentato dai valori dei pixel relativi alle diverse ROIs, per entrambe le telecamere. Successivamente vengono calcolati i centroidi per ciascuna ROI e utilizzati come punti di controllo per il movimento del robot. Ricostruendo la posizione dell’ago nello spazio è pertanto possibile utilizzare tale informazione come traguardo per il movimento del robot. La cinematica inversa ha come obbiettivo il controllo diretto dei giunti del robot, definendo valori particolari tali da consentire l’afferraggio dell’ago. Un database di video provenienti dalla pratica chirurgica, con rispettivi valori dei giunti provenienti dagli encoder, è stato utilizzato per definire gli ultimi tre valori dei giunti del braccio robotico. Una volta noti tali valori e la geometria dello strumento utilizzato è stato definito un particolare punto nello spazio cartesiano da utilizzare come soluzione della cinematica inversa relativa ai restanti tre giunti. Il protocollo sperimentale è articolato come segue: l’ago viene manualmente afferrato da un operatore tramite uno strumento laparoscopico all’interno dello spazio di lavoro. L’operatore esegue con lo strumento una traiettoria a tre fasi. Questi movimenti vengono rilevati dall’endoscopio e tali informazioni vengono utilizzate per generare il movimento del robot che, a sua volta, segue quello dell’ago fino alla fase di afferragio, quando non vengono più rilevati variazioni in termini di posizione dell’ago nello spazio. L’intero procedimento è stato ripetuto per un totale di 40 acquisizioni. RISULTATI I primi risultati ottenuti riguardano lo studio dell’accuratezza delle trasformazioni presenti nel sistema. Per la trasformazione robot-spazio di lavoro è stato ottenuto un errore finale di 1.2 mm (s.t. 0.9 mm), calcolato come valor medio della distanza euclidea tra i punti nel sistema di riferimento dello spazio di lavoro e gli stessi punti acquisiti con lo strumento del robot e mappati nell’area di lavoro attraverso la trasformazione stessa. Per quanto riguarda la posa della camera rispetto l’area di lavoro, essa è stata quantificata misurando la distanza tra gli angoli della scacchiera e gli stessi punti rilevati nella fotocamera sinistra e mappati nel sistema di riferimento dello spazio di lavoro attraverso la trasformazione analizzata. Con 20 punti analizzati, è stato raggiunto un errore medio di 0.88 mm (s.t. 0.6 mm). Fase di avvicinamento - Per 32 prove su 40 complessive, l’attività è stata cor- rettamente conclusa con una corretta presa dell’ago. In 3 casi su 40, lo strumento robotico si avvicina correttamente all’ago, ma senza poter concludere la fase di presa, mancando l’ago per meno di 4.8 mm (s.t. 0.7 mm), misurati come distanza Euclidea calcolata conoscendo le tre componenti lungo i tre assi. Nelle ultime 5/40 prove, lo strumento robotico ha raggiunto una posizione dall’ago che distava più di 20 mm, misurata come precedentemente descritto. Generalmente, l’asse z è caratterizzato da un errore maggiore rispetto agli altri due assi cartesiani. Questo risultato è indirizzabile alla fase di ricostruzione 3D; infatti, il problema principale è sempre rappresentato dalla stima della profondità dell’oggetto. Fase di presa - In tutte le 15 ripetizioni del compito, l’errore tra la posizione desiderata e la posizione corrente risulta sempre abbastanza piccolo per garantire la presa dell’ago. L’errore medio tra le acquisizioni è di 3.2 mm (s.t. 0.8 mm). I calcoli cinematici presentano tuttavia delle imperfezioni dovute alle calibrazioni e al sistema di cavi su cui si basa lo strumento robotico. La ripetibilità delle operazioni risulta migliore se comparata con la precisione assoluta. L’accuratezza assoluta, la ripetibilità e la precisione del sistema robotico sono state analizzate in ambiente di tele-operazione sebbene i risultati ottenuti si possano applicare anche ad uno scenario automatico. Per quanto riguarda l’intero tempo necessario per completare l’attività, nel nostro caso, è stato di 8 secondi. Questo valore dipende fortemente dalla traiettoria eseguita. In uno scenario reale, il tempo necessario a tale operazione specifica è sicuramente influenzato dalla destrezza del chirurgo e dell’assistente. Idealmente, il sistema automatico dovrebbe ridurre il tempo operativo relativo a questa fase poiché non richiede più la fase di passaggio dell’ago tra gli strumenti per iniziare la fase di sutura. Il tempo relativo alla complessiva esecuzione del compito dipenderà solo da quanto l’assistente varierà la posizione dell’ago all’interno dello spazio di lavoro. CONCLUSIONI Dagli iniziali risultati ottenuti è chiaro che l’automatizzazione del compito studiato risulta realizzabile. Il sistema presentato può eseguire la localizzazione dell’ago e utilizzare dei punti fiduciari per generare il movimento del robot. La soluzione adottata consente la rimozione dei passaggi intermedi di manipolazione dell’ago. Tuttavia, molte sfide rimangono ancora aperte. La ripetibilità e l’intera velocità computazionale del sistema potrebbero essere migliorate implementando l’intero sistema nel medesimo linguaggio di programmazione. Inoltre, effettuare sperimentazioni in condizioni più realistiche, possibilmente con tessuto ex-vivo, contribuirebbe ad una valutazione più accurata della robustezza dell’intero algoritmo. I risultati mostrano inoltre che il sistema di individuazione dell’ago fornisce una stima robusta della sua posa, quasi in tempo reale, anche se è previsto l’utilizzo di marcatori che potrebbero essere rimossi, utilizzando un algoritmo più robusto. Infine, casi fallimentari nella ricostruzione della posizione dell’ago si sono presentati quando lo strumento robotico era posizionato troppo vicino all’ago, generando anomalie nel rilevamento delle ROI.
Tesi di laurea Magistrale
File allegati
File Dimensione Formato  
ClaudiaDEttorre.pdf

accessibile in internet solo dagli utenti autorizzati

Descrizione: Testo della tesi
Dimensione 22.99 MB
Formato Adobe PDF
22.99 MB Adobe PDF   Visualizza/Apri

I documenti in POLITesi sono protetti da copyright e tutti i diritti sono riservati, salvo diversa indicazione.

Utilizza questo identificativo per citare o creare un link a questo documento: https://hdl.handle.net/10589/138105