Image-guided estimation of the grasping tool pose for robotic-assisted surgical needle insertion

The surgical branch of robotized interventional radiology is a reference paradigm in tumor treatment and diagnosys. Percutaneous needle insertion for abdominal biopsy is a minimally invasive procedure that is performed to achieve local treatments, guided by a medical imaging device. This thesis has resumed the work of ICube laboratory on the development of a robotized interventional radiology assistant for percutaneous applications. Robotic assistance for needle insertion procedures provides solutions to cope with the limitations of the manual practice, guaranteeing higher repeatability and better accuracy. The application scenario includes the use of X-Ray imaging. ICube in this framework has already developed a novel needle insertion tool, referred to as “Needle Grasper”. The tool has three main characteristics: enables grasping capabilities for robot manipulators, adds a degree of freedom to the robot (needle translation along insertion axis) and is also compact and mostly built from polymer, thus being transparent to X-Ray radiations. My Thesis aims to extend the previous work conducted by Piccin et al. on the development of a robotic assistant by addressing the pose initialization problem, once the Needle Grasper is mounted on a robotic manipulator. With the term Pose Initialization we refer to the process of determining the initial position of the robot in a global reference frame; this process is fundamental to enable a tracking task and therefore guide robotic motion in space correctly. Pose initialization is the first step in a robotized interventional radiology procedure. For planning needle insertion and robotic motion, knowledge about the position of the robot manipulator (Kuka IIWA) base with respect to the CT-scanner (C-arm) is mandatory. Typically, pose initialization is performed by attaching a set of optical markers to the End-Effector and using a dedicated optical tracking system. The objective of this thesis is to estimate it without making use of a tracking system, using no other images than the ones acquired by the CT scanner, but guaranteeing equal accuracy. During the surgical procedure, the presence of a robotic manipulator hinders the C-arm movement. To reconstruct the pose of the Needle Grasper we must rely only on planar X-Ray projections acquired by the same C-arm in at least two different positions. In such projections the Needle Grasper can be easily identified by its system for needle translation, a set of cylindrical parallel metallic screws that have strong contrast w.r.t. the plastic structure. These screws constitute the set of features to be extracted and used as lines in a pose reconstruction algorithm from parallel lines. Pose reconstruction from parallel lines is a novel application for pose initialization in robot assisted medical interventions. The pose reconstruction from lines algorithm was firstly evaluated in a zero-noise virtual condition, creating a model of lines corresponding to the Needle Grasper 's screws. This has enabled the reconstruction of the exact solution for the rigid transformation from Needle Grasper to C-arm frames. The first results were to prove the proper functioning of the proposed estimation algorithm. As such, a simulation with virtual added noise to assess robustness of the reconstruction algorithm was implemented. Various tests were conducted varying added noise magnitude and model configuration. Produced results represent reconstruction errors for each one of the Degrees of Freedom estimated. Further testing produced analysis of the Jacobian of the image, reconstructed from lines belonging to the model, in different configurations, in order to assess the pose estimation from lines algorithm generality. The lines method was a novel application of a relatively new solution to initialization problems in robot assisted surgery. Reconstruction errors produced for translation along X and Y axes at noise magnitudes typical of modern imaging devices do not guarantee submillimetric accuracy. Consequently, the pose estimation algorithm does not provide the necessary accuracy a surgical application requires. Following the results obtained on the pose estimation from lines algorithm, it was decided to proceed with a complementary approach to the pose initialization problem, whose objective was to achieve ground truth to improve reconstruction of the Needle Grasper's pose. This approach uses couple of images acquired from as many distinct capture points and the feature extracted are points instead of lines. Feature are used in two different methods, one based on the estimation of the Essential Matrix and the other on the estimation of the Homography points. The two estimation methods here introduced make up for the absence of a priori information about relative pose between capture points in the operating room global frame. This attempt aims at broadening the range of C-arm compatibility for the Needle Grasper, for instance in the case of a non-robotic C-arm. The conducted tests exploited the simulation previously implemented, adding noise directly to the points fed to the relative pose estimation methods. Results obtained from these tests, w.r.t. estimated Degrees of Freedom, highlighted a far weaker robustness to noise (from two-fold to ten-fold) compared to the State-of-the-Art estimation from points, evaluated on the same added noise dataset. Both proposed methods were uncapable of bringing improvement to the accuracy of the State-of-the-Art method for estimation from points. Research conducted at ICube will have to adapt to the results obtained, discarding the estimation method from lines in favour of a point-based estimation method, evaluating the possible use of radiopaque markers in a further attempt to avoid the use of an optical tracking system.

La branca chirurgica definita Interventional Radiology robotizzata è un paradigma di riferimento per la cura e la diagnostica dei tumori. L'inserimento percutaneo dell'ago per biopsia addominale è una procedura minimamente invasiva che viene eseguita per ottenere trattamenti localizzati, guidati da un dispositivo di imaging medico. Questo elaborato di Tesi riprende le fila del lavoro condotto dal laboratorio ICube sullo sviluppo di un assistente robotico per procedure di Interventional Radiology in applicazioni percutanee. L'assistenza robotica per inserimento di ago fornisce soluzioni per far fronte ai limiti della pratica manuale, garantendo maggiore ripetibilità e accuratezza. Lo scenario applicativo considerato prevede l'utilizzo di tecniche di imaging a raggi X. In questo contesto, ICube ha sviluppato un nuovo strumento per inserimento dell'ago, denominato “Needle Grasper”. Lo strumento ha tre caratteristiche principali: permette al robot di fare presa sull'ago, aggiunge un grado di libertà rispetto a quelli forniti dal robot (ossia la traslazione dell'ago lungo l'asse di inserimento) e presenta un design compatto principalmente costituito da parti in polimero; ciò lo rende trasparente alle immagini a raggi X. La mia Tesi mira ad estendere il precedente lavoro di Piccin et al. sullo sviluppo di un assistente robotico a_rontando il problema di Pose Initialization, una volta che il Needle Grasper è montato sull'organo terminale di un manipolatore robotico. Con il termine Pose Initialization si intende il processo atto a determinare la posizione iniziale del robot in un sistema di riferimento globale; questo processo è fondamentale per un'attività di tracking e dunque per guidare correttamente il movimento del robot nello spazio. Il processo di Pose Initialization è il primo step effettuato durante una procedura di Interventional Radiology robotizzata. Per pianificare l'inserimento dell'ago e il movimento del manipolatore robotico (Kuka IIWA), è necessario conoscere la posizione della base del robot rispetto allo scanner CT, in questo caso un C-arm. In genere, il problema di Pose Initialization di un End-Effector è risolto sfruttando un sistema di tracking ottico dedicato al rilevamento di un set di marker posizionati sull'End-Effector stesso. L'obiettivo di questa tesi è quello di effettuare tale stima senza avvalersi di un sistema di tracking, utilizzando quindi solo immagini acquisite dallo scanner CT, garantendo la stessa accuratezza. Durante la procedura chirurgica, il movimento del C-arm è limitato dalla presenza del manipolatore robotico. Per ricostruire la posizione del Needle Grasper bisogna quindi fare affidamento solamente su immagini radiografiche planari, acquisite in almeno due punti diversi dallo stesso C-arm. In tali immagini radiografiche è possibile riconoscere il Needle Grasper tramite il suo sistema per la traslazione dell'ago, costituito da una serie di viti cilindriche parallele in metallo. Tali viti hanno un forte contrasto rispetto al resto della struttura realizzata in polimero. Inoltre costituiscono il set di feature da estrarre ed utilizzare in un algoritmo di ricostruzione della posa a partire da linee parallele. La stima della posa a partire da linee parallele è una soluzione innovativa per risolvere il problema di Pose Initialization nel campo delle procedure chirurgiche con assistente robotico. In primo luogo la soluzione analitica al problema di ricostruzione della posa da linee parallele è stata valutato in una condizione virtuale a zero rumore, creando un modello di linee corrispondenti alle viti del Needle Grasper. Ciò ha permesso di ottenere una soluzione esatta per la trasformazione rigida dal sistema di riferimento del Needle Grasper a quello del C-arm. Il primo risultato di questo lavoro è la conferma del funzionamento dell'algoritmo di stima proposto. Di conseguenza è stata implementata una simulazione con aggiunta di rumore per valutare la robustezza dell'algoritmo. Sono stati condotti svariati test aumentando gradualmente l'intensità del rumore aggiunto e la configurazione del modello. I risultati prodotti rappresentano l'errore di ricostruzione per ognuno dei Gradi di Libertà stimati. Ulteriori test hanno prodotto l'analisi della Jacobiana dell'immagine, ricostruita a partire dalle linee del modello in diverse configurazioni, al fine di valutare il grado di generalità dell'algoritmo di stima della posa da linee parallele. Il metodo di stima della posa da linee, si presenta come un'inedita e promettente applicazione di una soluzione relativamente nuova per risolvere i problemi di Pose Initialization in chirurgia robotica. Gli errori di ricostruzione ottenuti per parametri di traslazione sugli assi X e Y considerando valori di rumore tipici dei dispositivi di imaging attuali non garantiscono una precisione submillimetrica. Di conseguenza il metodo non garantisce l'accuratezza necessaria per un'applicazione chirurgica. A seguito dei risultati relativi al metodo di stima della posa da linee, si è deciso di studiare un approccio complementare al problema di Pose Initialization, con l'obiettivo di ottenere un ground truth per migliorare la ricostruzione della posa del Needle Grasper. Tale approccio fa uso di coppie di immagini acquisite da punti di vista distinti, le feature utilizzate sono un set di punti invece di linee. Le immagini sono sfruttate da due diversi metodi per stima della trasformazione rigida tra due punti di cattura, uno basato sulla stima della matrice essenziale e l'altro sulla stima dell'omografia. I due metodi di stima qui introdotti sopperiscono all'assenza di informazioni a priori sulla posizione relativa dei punti di cattura delle immagini nel sistema di riferimento della sala operatoria. Il tentativo risultato nell'introduzione di questi metodi mira ad ampliare la gamma di compatibilità per il Needle Grasper, ad esempio nel caso di C-arm non robotico. I test condotti hanno sfruttato la simulazione precedentemente implementata, aggiungendo il rumore direttamente ai punti su cui i metodi di stima della posa relativa si basano. I risultati prodotti da questi test rispetto ai Gradi di Libertà stimati hanno evidenziato una robustezza al rumore di molto inferiore (dalle due alle dieci volte) rispetto al metodo allo Stato dell'Arte per la stima da punti, valutato sullo stesso dataset di rumore aggiunto. Sia stima della matrice essenziale che stima dell'omografia si sono dunque dimostrate incapaci di portare miglioramento all'accuratezza del metodo allo Stato dell'Arte per la stima da punti. La ricerca attualmente condotta da ICube dovrà adattarsi ai risultati ottenuti, scartando il metodo di stima della posa da linee a favore di un metodo basato su punti, valutando il possibile uso di marker radiopachi al fine di evitare l'impiego di un sistema di tracking ottico.