The spread of the keyhole neurosurgery procedure is due to its capability to minimise patient trauma, risk of infection and recovery time. These features make keyhole neurosurgery applicable for a wide range of patients who are not suitable for open surgery. However, performing these procedures using traditional rigid needles may result in the impossibility to reach targets without colliding with anatomical obstacles (e.g., bones) or sensitive anatomical tissues (e.g., vital organs and vessels). Over the last two decades, different research groups have focused their efforts on the development of needles able to steer inside the tissue. These needles can perform curvilinear trajectories planned to maximise the distance from sensitive anatomical structures to be avoided and reach targets otherwise inaccessible via rectilinear insertion paths. Differently from conventional needles, for which the insertion path can be planned and performed by the clinician on the basis of the target location and the patient anatomy, the complex kinematics of steerable needles make the manual path planning unbearable requiring the aid of automatic or semiautomatic path planning solutions. The pre-operative and intra-operative accuracy, and the robotic motion control robustness directly contribute to treatment outcomes and postoperative recovery. On this background, the overall goal of this PhD thesis is to describe a safe and effective keyhole neurosurgery automatic planning framework for flexible neurosurgical needles. The framework is intended to support neurosurgeons during: 1) the pre-operative procedure to quickly determine the most appropriate surgical entry point and trajectory through the brain with minimised risk, 2) the intra-operative procedure to react to a dynamic environment, and 3) the robotic needle insertion to provide an appropriate control strategy. In particular, the contributions of this PhD work are: 1. An overview of different path planning techniques used for surgical steerable needle/catheters. A systematic and careful literature search in major databases such as Pubmed, Scopus and Web of Science was carried out using "steerable catheter/needle" and "path planning" as main keywords. The analysis carried out for each paper concerns the clinical aim, the path planning method, the validation procedure and the quantitative results. 84 studies out of 337 were identified, which actually made use of path planning algorithms for steerable needle/catheters. Such Paradigms Include graph-based, sampling-based, mathematical-based, learning-based, reasoning based and multifusion-based methods. 2. A pre-operative path planning framework that couples learning-based and reasoning-based techniques in order to improve path planning performance. In particular, an inductive learning model, relying on demonstrations performed by expert operators, is in charge of generating a set of paths as candidate solutions; then a deductive reasoning module selects the "best" starting point, according to explicit knowledge modeled over domain experts suggestions. This kind of coupling allows to transfer to the automated path planner most of the knowledge available at human level: the inductive learning module "catches", via demonstrations, expert capabilities that are hard to explicitly express (e.g., visual-spatial, bodily-kinesthetic), while the deductive module formally encodes what has been elaborated by the experts upon long-lasting practice (e.g., domain knowledge, best practices). Eventually, we assess the viability of the proposed approach, with in-silico test, proving that it stands or even outperform state-of-the-art approaches in terms of safety distance-from-obstacles respect, smoothness, and computational time. 3. A realistic, time-bounded simulator based on position-based dynamics simulation that mocks brain deformations due to catheter insertion. It maximises the probability of intra-operative path planning success by accounting for uncertainty in deformation models. The simulator uses a novel approach with respect to the literature, and it has proved to be a close match with real brain deformations through validation using recorded deformation data of in-vivo animal trials with a mean mismatch of 4.73±2.15%. The stability, accuracy, and real-time performance make this model suitable for creating a dynamic environment for keyhole neurosurgery path planning and intra-operative control. 4. A novel path-replanner able to generate an obstacle-free and curvature bounded path at each time step during insertion, accounting for a constrained target pose and intra-operative anatomical deformation. The generated path is achieved with inverse reinforcement learning methods for planning intra-operative feasible trajectory in the dynamic needle-tissue interactive keyhole neurosurgery environment. Simulation results performed on a realistic dataset show that our re-planning method can guide a needle with bounded curvature to a predefined target pose with an average targeting error of 1.34 ± 0.52 mm in position and 3.16 ± 1.06 degrees in orientation under a deformable simulated environment, with a re-planning time of 0.02 sec and a success rate of 100%. The target is considered reached with a tolerance of 2.5 mm in position and 10° in orientation. 5. A motion controller that can steer a programmable bevel-tip needle to produce the desired trajectory in 3D. This is performed thanks to the integration of the path planning model developed in 3D Unity into a system that consists of a programmable bevel-tip needle, a needle tracking via electromagnetic sensors and a needle steering robot. The integration is performed with the support of the Robotic Operating System. In-gel validation shown the feasibility of the method, with a 100% success rate on reaching the target and 3.88 mm of error in positioning (with a tolerance of 5 mm), demonstrating performances comparable with the state-of-art of other controllers applied to the same needle steering system. The Programmable Bevel-tip Needle (PBN) is a multi-segment steerable needle under development within the EU EDEN2020 project. It is composed of four axially interlocked slender sections, robotically actuated to develop specific tip configurations that allow the needle to steer in the space. In this PhD dissertation, the PBN is considered as a case study for the presented methods.

Lo sviluppo della procedura di neurochirurgia keyhole è dovuto alla sua capacità di ridurre al minimo il trauma del paziente, il rischio di infezione e il tempo di recupero. Queste caratteristiche rendono la neurochirurgia keyhole applicabile a una vasta gamma di pazienti non adatti alla chirurgia aperta. Tuttavia, l'esecuzione di queste procedure, utilizzando i tradizionali aghi rigidi, può comportare l'impossibilità di raggiungere gli obiettivi senza scontrarsi con ostacoli anatomici (ad esempio, le ossa) o tessuti anatomici sensibili (ad esempio, organi vitali e vasi sanguigni). Negli ultimi due decenni, diversi gruppi di ricerca hanno concentrato i loro sforzi sullo sviluppo di aghi in grado di orientarsi all'interno dei tessuti. Questi aghi possono eseguire traiettorie curvilinee, pianificate per massimizzare la distanza da strutture anatomiche sensibili da evitare, e raggiungere obiettivi altrimenti inaccessibili tramite percorsi di inserimento rettilinei. A differenza degli aghi convenzionali, per i quali il percorso di inserimento può essere pianificato ed eseguito dal medico sulla base della posizione del bersaglio e dell'anatomia del paziente, la complessa cinematica degli aghi orientabili rende infattibile la pianificazione manuale, richiedendo quindi l'aiuto di soluzioni automatiche o semiautomatiche. La precisione pre-operatoria e intra-operatoria e la robustezza del controllo del movimento robotico contribuiscono direttamente ai risultati del trattamento e al recupero post-operatorio. Su queste basi, l'obiettivo generale di questa tesi di dottorato è quello di descrivere un quadro sicuro ed efficace di pianificazione automatica di neurochirurgia keyhole per aghi neurochirurgici flessibili. Il sistema intende supportare i neurochirurghi durante: 1) la procedura pre-operatoria per determinare rapidamente il punto di ingresso chirurgico più appropriato e la traiettoria attraverso il cervello con un rischio ridotto al minimo, 2) la procedura intra-operatoria per interagire con un ambiente dinamico, e 3) l'inserimento dell'ago robotico per fornire una strategia di controllo adeguata. In particolare, i contributi di questo lavoro di dottorato sono: 1)Una panoramica delle diverse tecniche di pianificazione del percorso utilizzate per gli aghi/cateteri chirurgici orientabili. Una ricerca sistematica e attenta della letteratura nelle principali basi di dati come Pubmed, Scopus e Web of Science è stata effettuata utilizzando "steerable catheter/needle" e "path planning" come parole chiave importanti. L'analisi effettuata per ogni articolo riguarda l'obiettivo clinico, il metodo di pianificazione del percorso, la procedura di validazione e i risultati quantitativi. Sono stati identificati 84 studi su 337 che hanno effettivamente fatto uso di algoritmi di pianificazione del percorso per aghi/cateteri orientabili. Tali paradigmi includono metodi basati su grafi, campionamento, matematica, apprendimento, ragionamento e multifusione. 2) Un sistema di pianificazione del percorso pre-operatorio che incorpora tecniche basate sull'apprendimento e sul ragionamento al fine di migliorare le prestazioni di pianificazione del percorso. In particolare, un modello di apprendimento induttivo, basato su dimostrazioni eseguite da operatori esperti, è incaricato di generare un insieme di percorsi come soluzioni candidate; successivamente, un modulo di ragionamento deduttivo seleziona il "miglior" punto di partenza, secondo la conoscenza esplicita modellata sui suggerimenti degli esperti del dominio. Questo tipo di accoppiamento permette di trasferire al pianificatore automatico di percorsi la maggior parte della conoscenza disponibile a livello umano. Il modulo di apprendimento induttivo "cattura", tramite dimostrazioni, le capacità degli esperti che sono difficili da esprimere esplicitamente (ad esempio, visuale-spaziale, fisico-cinestetico), mentre il modulo deduttivo codifica formalmente ciò che è stato elaborato dagli esperti dopo una lunga pratica (ad esempio, la conoscenza del dominio, le migliori pratiche). Infine, valutiamo la fattibilità dell'approccio proposto, in simulazione, dimostrando che è in grado di competere o addirittura superare le soluzioni presenti nello stato dell'arte in termini di distanza di sicurezza dagli ostacoli, linearità e tempo di calcolo. 3)Un simulatore realistico, incentrato sulla simulazione dinamica basata sulla posizione, che simula le deformazioni del cervello dovute all'inserimento del catetere e massimizza la probabilità di successo della pianificazione del percorso intra-operatorio tenendo conto dell'incertezza nei modelli di deformazione. Il simulatore utilizza un nuovo approccio rispetto alla letteratura, e ha dimostrato di avere una stretta corrispondenza con le deformazioni cerebrali reali attraverso la convalida utilizzando i dati di deformazione registrati in esperimenti su animali in vivo con un mismatch medio del 4.73 ± 2.15%. La stabilità, la precisione e le prestazioni in tempo reale rendono questo modello adatto a creare un ambiente dinamico per la pianificazione del percorso KN e la guida intra-operatoria. 4) Un nuovo ripianificatore di percorsi in tempo reale in grado di generare, ad ogni passo temporale durante l'inserimento, un percorso privo di ostacoli e di curvatura, tenendo conto di una posa vincolata dell'obiettivo e della deformazione anatomica intra-operatoria. Il percorso generato è ottenuto con metodi di apprendimento di rinforzo inverso per la pianificazione della traiettoria intra-operatoria. I risultati di simulazione eseguiti su un set di dati realistici dimostrano che il nostro metodo di ripianificazione può guidare un ago con curvatura limitata a una posizione di destinazione predefinita con un errore medio di posizionamento di 1.34 ± 0.52 mm in posizione e 3.16 ± 1.06 gradi in orientamento in un ambiente deformabile, con un tempo di ripianificazione di 0.02 sec e un tasso di successo del 100%. L'obiettivo è considerato raggiunto con una tolleranza di 2.5 mm per la posizione e 10° per l'orientamento. 5) Un controllore di movimento che può guidare un ago orientabile per produrre la traiettoria desiderata in 3D. Questo viene realizzato grazie all'integrazione del modello di pianificazione del percorso sviluppato in 3D Unity in un sistema che consiste in un ago orientabile, un tracciamento dell'ago tramite sensori elettromagnetici e un robot che guida l'ago. L'integrazione viene eseguita con il supporto del Robotic Operating System. La validazione in-gel ha mostrato la fattibilità del metodo con un tasso di successo del 100% nel raggiungere il bersaglio e 3.88 mm di errore nel posizionamento (con una tollerenza di 5 mm), dimostrando prestazioni paragonabili allo stato dell'arte di altri controllori applicati allo stesso sistema di guida dell'ago. Il Programmable Bevel-tip Needle (PBN) è un ago orientabile a più segmenti in fase di sviluppo nell'ambito del progetto EU EDEN2020. È composto da quattro sezioni sottili interconnesse assialmente, azionate roboticamente per sviluppare specifiche configurazioni della punta che permettono all'ago di sterzare nello spazio. In questa tesi di dottorato, il PBN è considerato come un caso di studio per i metodi presentati.

Novel path planning and autonomous control methods for needle steering systems in keyhole neurosurgery

SEGATO, ALICE
2021/2022

Abstract

The spread of the keyhole neurosurgery procedure is due to its capability to minimise patient trauma, risk of infection and recovery time. These features make keyhole neurosurgery applicable for a wide range of patients who are not suitable for open surgery. However, performing these procedures using traditional rigid needles may result in the impossibility to reach targets without colliding with anatomical obstacles (e.g., bones) or sensitive anatomical tissues (e.g., vital organs and vessels). Over the last two decades, different research groups have focused their efforts on the development of needles able to steer inside the tissue. These needles can perform curvilinear trajectories planned to maximise the distance from sensitive anatomical structures to be avoided and reach targets otherwise inaccessible via rectilinear insertion paths. Differently from conventional needles, for which the insertion path can be planned and performed by the clinician on the basis of the target location and the patient anatomy, the complex kinematics of steerable needles make the manual path planning unbearable requiring the aid of automatic or semiautomatic path planning solutions. The pre-operative and intra-operative accuracy, and the robotic motion control robustness directly contribute to treatment outcomes and postoperative recovery. On this background, the overall goal of this PhD thesis is to describe a safe and effective keyhole neurosurgery automatic planning framework for flexible neurosurgical needles. The framework is intended to support neurosurgeons during: 1) the pre-operative procedure to quickly determine the most appropriate surgical entry point and trajectory through the brain with minimised risk, 2) the intra-operative procedure to react to a dynamic environment, and 3) the robotic needle insertion to provide an appropriate control strategy. In particular, the contributions of this PhD work are: 1. An overview of different path planning techniques used for surgical steerable needle/catheters. A systematic and careful literature search in major databases such as Pubmed, Scopus and Web of Science was carried out using "steerable catheter/needle" and "path planning" as main keywords. The analysis carried out for each paper concerns the clinical aim, the path planning method, the validation procedure and the quantitative results. 84 studies out of 337 were identified, which actually made use of path planning algorithms for steerable needle/catheters. Such Paradigms Include graph-based, sampling-based, mathematical-based, learning-based, reasoning based and multifusion-based methods. 2. A pre-operative path planning framework that couples learning-based and reasoning-based techniques in order to improve path planning performance. In particular, an inductive learning model, relying on demonstrations performed by expert operators, is in charge of generating a set of paths as candidate solutions; then a deductive reasoning module selects the "best" starting point, according to explicit knowledge modeled over domain experts suggestions. This kind of coupling allows to transfer to the automated path planner most of the knowledge available at human level: the inductive learning module "catches", via demonstrations, expert capabilities that are hard to explicitly express (e.g., visual-spatial, bodily-kinesthetic), while the deductive module formally encodes what has been elaborated by the experts upon long-lasting practice (e.g., domain knowledge, best practices). Eventually, we assess the viability of the proposed approach, with in-silico test, proving that it stands or even outperform state-of-the-art approaches in terms of safety distance-from-obstacles respect, smoothness, and computational time. 3. A realistic, time-bounded simulator based on position-based dynamics simulation that mocks brain deformations due to catheter insertion. It maximises the probability of intra-operative path planning success by accounting for uncertainty in deformation models. The simulator uses a novel approach with respect to the literature, and it has proved to be a close match with real brain deformations through validation using recorded deformation data of in-vivo animal trials with a mean mismatch of 4.73±2.15%. The stability, accuracy, and real-time performance make this model suitable for creating a dynamic environment for keyhole neurosurgery path planning and intra-operative control. 4. A novel path-replanner able to generate an obstacle-free and curvature bounded path at each time step during insertion, accounting for a constrained target pose and intra-operative anatomical deformation. The generated path is achieved with inverse reinforcement learning methods for planning intra-operative feasible trajectory in the dynamic needle-tissue interactive keyhole neurosurgery environment. Simulation results performed on a realistic dataset show that our re-planning method can guide a needle with bounded curvature to a predefined target pose with an average targeting error of 1.34 ± 0.52 mm in position and 3.16 ± 1.06 degrees in orientation under a deformable simulated environment, with a re-planning time of 0.02 sec and a success rate of 100%. The target is considered reached with a tolerance of 2.5 mm in position and 10° in orientation. 5. A motion controller that can steer a programmable bevel-tip needle to produce the desired trajectory in 3D. This is performed thanks to the integration of the path planning model developed in 3D Unity into a system that consists of a programmable bevel-tip needle, a needle tracking via electromagnetic sensors and a needle steering robot. The integration is performed with the support of the Robotic Operating System. In-gel validation shown the feasibility of the method, with a 100% success rate on reaching the target and 3.88 mm of error in positioning (with a tolerance of 5 mm), demonstrating performances comparable with the state-of-art of other controllers applied to the same needle steering system. The Programmable Bevel-tip Needle (PBN) is a multi-segment steerable needle under development within the EU EDEN2020 project. It is composed of four axially interlocked slender sections, robotically actuated to develop specific tip configurations that allow the needle to steer in the space. In this PhD dissertation, the PBN is considered as a case study for the presented methods.
ALIVERTI, ANDREA
POZZI, GIUSEPPE
13-dic-2021
Novel path planning and autonomous control methods for needle steering systems in keyhole neurosurgery
Lo sviluppo della procedura di neurochirurgia keyhole è dovuto alla sua capacità di ridurre al minimo il trauma del paziente, il rischio di infezione e il tempo di recupero. Queste caratteristiche rendono la neurochirurgia keyhole applicabile a una vasta gamma di pazienti non adatti alla chirurgia aperta. Tuttavia, l'esecuzione di queste procedure, utilizzando i tradizionali aghi rigidi, può comportare l'impossibilità di raggiungere gli obiettivi senza scontrarsi con ostacoli anatomici (ad esempio, le ossa) o tessuti anatomici sensibili (ad esempio, organi vitali e vasi sanguigni). Negli ultimi due decenni, diversi gruppi di ricerca hanno concentrato i loro sforzi sullo sviluppo di aghi in grado di orientarsi all'interno dei tessuti. Questi aghi possono eseguire traiettorie curvilinee, pianificate per massimizzare la distanza da strutture anatomiche sensibili da evitare, e raggiungere obiettivi altrimenti inaccessibili tramite percorsi di inserimento rettilinei. A differenza degli aghi convenzionali, per i quali il percorso di inserimento può essere pianificato ed eseguito dal medico sulla base della posizione del bersaglio e dell'anatomia del paziente, la complessa cinematica degli aghi orientabili rende infattibile la pianificazione manuale, richiedendo quindi l'aiuto di soluzioni automatiche o semiautomatiche. La precisione pre-operatoria e intra-operatoria e la robustezza del controllo del movimento robotico contribuiscono direttamente ai risultati del trattamento e al recupero post-operatorio. Su queste basi, l'obiettivo generale di questa tesi di dottorato è quello di descrivere un quadro sicuro ed efficace di pianificazione automatica di neurochirurgia keyhole per aghi neurochirurgici flessibili. Il sistema intende supportare i neurochirurghi durante: 1) la procedura pre-operatoria per determinare rapidamente il punto di ingresso chirurgico più appropriato e la traiettoria attraverso il cervello con un rischio ridotto al minimo, 2) la procedura intra-operatoria per interagire con un ambiente dinamico, e 3) l'inserimento dell'ago robotico per fornire una strategia di controllo adeguata. In particolare, i contributi di questo lavoro di dottorato sono: 1)Una panoramica delle diverse tecniche di pianificazione del percorso utilizzate per gli aghi/cateteri chirurgici orientabili. Una ricerca sistematica e attenta della letteratura nelle principali basi di dati come Pubmed, Scopus e Web of Science è stata effettuata utilizzando "steerable catheter/needle" e "path planning" come parole chiave importanti. L'analisi effettuata per ogni articolo riguarda l'obiettivo clinico, il metodo di pianificazione del percorso, la procedura di validazione e i risultati quantitativi. Sono stati identificati 84 studi su 337 che hanno effettivamente fatto uso di algoritmi di pianificazione del percorso per aghi/cateteri orientabili. Tali paradigmi includono metodi basati su grafi, campionamento, matematica, apprendimento, ragionamento e multifusione. 2) Un sistema di pianificazione del percorso pre-operatorio che incorpora tecniche basate sull'apprendimento e sul ragionamento al fine di migliorare le prestazioni di pianificazione del percorso. In particolare, un modello di apprendimento induttivo, basato su dimostrazioni eseguite da operatori esperti, è incaricato di generare un insieme di percorsi come soluzioni candidate; successivamente, un modulo di ragionamento deduttivo seleziona il "miglior" punto di partenza, secondo la conoscenza esplicita modellata sui suggerimenti degli esperti del dominio. Questo tipo di accoppiamento permette di trasferire al pianificatore automatico di percorsi la maggior parte della conoscenza disponibile a livello umano. Il modulo di apprendimento induttivo "cattura", tramite dimostrazioni, le capacità degli esperti che sono difficili da esprimere esplicitamente (ad esempio, visuale-spaziale, fisico-cinestetico), mentre il modulo deduttivo codifica formalmente ciò che è stato elaborato dagli esperti dopo una lunga pratica (ad esempio, la conoscenza del dominio, le migliori pratiche). Infine, valutiamo la fattibilità dell'approccio proposto, in simulazione, dimostrando che è in grado di competere o addirittura superare le soluzioni presenti nello stato dell'arte in termini di distanza di sicurezza dagli ostacoli, linearità e tempo di calcolo. 3)Un simulatore realistico, incentrato sulla simulazione dinamica basata sulla posizione, che simula le deformazioni del cervello dovute all'inserimento del catetere e massimizza la probabilità di successo della pianificazione del percorso intra-operatorio tenendo conto dell'incertezza nei modelli di deformazione. Il simulatore utilizza un nuovo approccio rispetto alla letteratura, e ha dimostrato di avere una stretta corrispondenza con le deformazioni cerebrali reali attraverso la convalida utilizzando i dati di deformazione registrati in esperimenti su animali in vivo con un mismatch medio del 4.73 ± 2.15%. La stabilità, la precisione e le prestazioni in tempo reale rendono questo modello adatto a creare un ambiente dinamico per la pianificazione del percorso KN e la guida intra-operatoria. 4) Un nuovo ripianificatore di percorsi in tempo reale in grado di generare, ad ogni passo temporale durante l'inserimento, un percorso privo di ostacoli e di curvatura, tenendo conto di una posa vincolata dell'obiettivo e della deformazione anatomica intra-operatoria. Il percorso generato è ottenuto con metodi di apprendimento di rinforzo inverso per la pianificazione della traiettoria intra-operatoria. I risultati di simulazione eseguiti su un set di dati realistici dimostrano che il nostro metodo di ripianificazione può guidare un ago con curvatura limitata a una posizione di destinazione predefinita con un errore medio di posizionamento di 1.34 ± 0.52 mm in posizione e 3.16 ± 1.06 gradi in orientamento in un ambiente deformabile, con un tempo di ripianificazione di 0.02 sec e un tasso di successo del 100%. L'obiettivo è considerato raggiunto con una tolleranza di 2.5 mm per la posizione e 10° per l'orientamento. 5) Un controllore di movimento che può guidare un ago orientabile per produrre la traiettoria desiderata in 3D. Questo viene realizzato grazie all'integrazione del modello di pianificazione del percorso sviluppato in 3D Unity in un sistema che consiste in un ago orientabile, un tracciamento dell'ago tramite sensori elettromagnetici e un robot che guida l'ago. L'integrazione viene eseguita con il supporto del Robotic Operating System. La validazione in-gel ha mostrato la fattibilità del metodo con un tasso di successo del 100% nel raggiungere il bersaglio e 3.88 mm di errore nel posizionamento (con una tollerenza di 5 mm), dimostrando prestazioni paragonabili allo stato dell'arte di altri controllori applicati allo stesso sistema di guida dell'ago. Il Programmable Bevel-tip Needle (PBN) è un ago orientabile a più segmenti in fase di sviluppo nell'ambito del progetto EU EDEN2020. È composto da quattro sezioni sottili interconnesse assialmente, azionate roboticamente per sviluppare specifiche configurazioni della punta che permettono all'ago di sterzare nello spazio. In questa tesi di dottorato, il PBN è considerato come un caso di studio per i metodi presentati.
File allegati
File Dimensione Formato  
Tesi_Alice_Segato_versione_finale.pdf

Open Access dal 19/11/2022

Descrizione: PhD Thesis
Dimensione 49.81 MB
Formato Adobe PDF
49.81 MB Adobe PDF Visualizza/Apri

I documenti in POLITesi sono protetti da copyright e tutti i diritti sono riservati, salvo diversa indicazione.

Utilizza questo identificativo per citare o creare un link a questo documento: https://hdl.handle.net/10589/180215