Surgical path planner for steerable catheters with reinforcement learning approach

Over the last few decades, the demand for less invasive surgery for brain interventions has increased a lot. Minimally Invasive Surgery (MIS) allows to intervene minimizing the size of incisions and the damage to healthy tissues, thus reducing the wound healing time and the associated risk of infection. All this results on safer procedures, with reduced post-operative risks and discomfort for the patient, and shorter hospitalization time. Keyhole Neurosurgery (KN) is an example of MIS performed through a very small hole in the skull, called “burr hole” or “keyhole”. Through the keyhole, catheters can be inserted into the brain for biopsy and therapy. This work focuses on an application of KN for glioblastoma treatment through local drug delivery, a currently investigated approach that aims at overcoming the limitations of standard surgical resection approach. However, reaching deep located targets still represents a major challenge, which limits the application of local treatment of glioblastoma. Recently developed prototypes of steerable catheters represent an important step forward from rigid ones, but have also introduced the need for automatic path planners, able to deal with a complex optimization process of trajectories. Path planning algorithms present in literature are generally limited when applied to steerable catheters, by the impossibility to directly optimize the trajectories, according to all the requested features. Instead, they generally use subsequent refinement steps of a raw trajectory, leading to high computational time and sub-optimal results. The aim of this work is to contribute to the development of a surgical path planner for curvilinear trajectories, able to pre-operatively assist the surgeon to define the best surgical trajectory to perform. The path planner is expected to estimate the best curvilinear trajectory for reaching a given target from an entry area, identified by the surgeon, ensuring a high level of safety and compliance with kinematic and geometric constraints of the catheter. The developed system is based on a Reinforcement Learning (RL) approach, named Asynchronous Advantage Actor-Critic (A3C) algorithm, applied for the first time in the context of KN path planning. The path planner performs a semi-automatic segmentation of multi-modal Magnetic Resonance (MR) images of the patient, in order to identify and extract anatomical regions of interest such as anatomical obstacles and brain cortex. The obtained models of the anatomical structures, together with the entry and target points, are fed to the A3C model, which computes the optimal trajectory connecting the two points. The A3C model is based on a deep-learning approach, using neural networks, thus requiring an accurate training phase. During the training phase, the model is expected to get a solid generalization capability, in order to be able to perform optimally on new unseen patients, without any retraining phase. The proposed method is able to deal with both 2D and 3D path planning problems, and it considers, as safety regions, blood vessels and corticospinal tracts. The proposed solution was tested against standard path planning algorithms from literature. The quality of the performances was assessed evaluating the three main requested features: insertion length minimization (geometric constraint), obstacles clearance and kinematic feasibility. The overall study shows that, compared to standard path planning algorithms, the proposed method was able to determine better solutions, according to a cost-function defined considering all the requested features. Additionally, with respect to standard path planning algorithms, the learningbased approach guarantees a greater flexibility to the model, making it suitable to be extended to dynamic environments and used not only pre- but also intra-operatively. This project is carried in the context of the European project Enhanced Delivery Ecosystem for Neurosurgery in 2020 (EDEN2020). Among its various goals, EDEN2020 project aims at developing steerable probes that can remain in-situ for long periods for the treatment of chronic neuro-oncological diseases. The main technology of this project, currently under development, is PBN (Programmable Bevel-tip Needle), a new multi-segment steerable probe with a programmable bevel, able to move in 3D space with great dexterity.

Negli ultimi anni, la richiesta di procedure chirurgiche meno invasive è aumentata sostanzialmente. La chirurgia mini-invasiva permette di intervenire minimizzando l’entità delle incisioni e il danneggiamento di tessuti sani, riducendo, di conseguenza i tempi di guarigione e i conseguenti rischi di infezione. Ciò risulta in procedure più sicure, con sostanziale riduzione dei rischi post-operatori, maggior comfort per il paziente e riduzione dei tempi di ricovero in ospedale. Con il termine “Keyhole Neurosurgery” (KN) si indica un esempio di chirurgia mini-invasiva eseguita attraverso una piccola incisione alla base del cranio. Attraverso l’incisione, un catetere può essere inserito all’interno del cranio per effettuare biopsie o trattamenti specifici. Questo lavoro si concentra su un’applicazione di KN per il trattamento del Glioblastoma multiforme, una delle forme di gliomi più aggressiva e tutt’ora difficile da curare. L’approccio standard per il suo trattamento consiste della resezione chirurgica; tuttavia questo approccio presenta importanti limiti, ed un’insoddisfacente probabilità di successo. Il trattamento attraverso somministrazione locale di specifici farmaci anti-tumorali, eseguita in modo mini-invasivo tramite KN, è stato recentemente proposto come alternativa. Tuttavia, raggiungere lesioni collocate in zone profonde del cervello rappresenta tuttora un importante limite all’applicazione di KN per trattamento locale del glioblastoma. Recentemente, diversi prototipi di cateteri flessibili sono stati proposti; essi rappresentano un importante passo in avanti rispetto ai cateteri rigidi, comunemente utilizzati, richiedendo però, al contempo, una pianificazione del percorso più complessa, che deve tenere in considerazione una molteplicità di fattori normalmente assenti per cateteri rigidi. Gli algoritmi di pianificazione presenti in letteratura, sono generalmente limitati dall’impossibilità di ottimizzare direttamente le traiettorie, rispetto a tutti i parametri richiesti. Al contrario, utilizzano generalmente degli step successivi di raffinamento di una prima traiettoria grezza, richiedendo un alto tempo computazionale, e portando spesso a risultati sub-ottimali. Lo scopo di questo lavoro è quello di contribuire allo sviluppo di un pianificatore di traiettorie curvilinee per cateteri flessibili, che possa assistere il chirurgo, in fase pre-operatoria. Al pianificatore è richiesto di stimare la miglior traiettoria curvilinea per raggiungere un target a partire da un’area di ingresso, definita dal chirurgo. In questo lavoro, l’ottimalità della traiettoria è valutata considerando la distanza minima da strutture vitali (vasi e tratti corticospinali) e la sua conformità rispetto ai limiti cinematici e geometrici del catetere flessibile. Il metodo proposto è basato su un particolare approccio di “Reinforcement Learning” (RL) chiamato “Asynchronous Advantage Actor-Critic” (A3C), per la prima volta utilizzato in questo contesto, per le informazioni a noi note dalla letteratura. Il pianificatore esegue una segmentazione semi-automatica di risonanze magnetiche multi-modali appartenenti al paziente, per identificare ed estrarre le regioni anatomiche di interesse. I modelli così ottenuti, assieme al punto di ingresso e al target, vengono forniti in input al modello A3C, che restituisce in output la traiettoria ottimale. Il modello A3C è basato sull’utilizzo di reti neurali, e necessita di una fase di training in grado di garantirne la massima capacità di generalizzazione (il modello deve fornire la traiettoria ottimale dato un nuovo paziente, senza effettuare alcun’altra fase di training). Il metodo sviluppato è in grado di stimare traiettorie sia nello spazio 2D che 3D, e considera, come strutture anatomiche da evitare, vasi sanguigni e tratti corticospinali. I test sono stati effettuati confrontando il pianificatore proposto con metodi standard presenti in letteratura. La qualità dei risultati è stata stabilita valutando i tre principali requisiti richiesti al pianificatore: minimizzazione della lunghezza della traiettoria calcolata (limite geonetrico del catetere), capacità di evitare gli ostacoli, mantenendo la maggior distanza possibile da tratti corticospinali e vasi sanguigni, e rispetto dei limiti cinematici del catetere. I risultati mostrano che la soluzione proposta è capace di generare traiettorie migliori rispetto ai metodi presenti in letteratura, in accordo con una funzione di costo che tiene in considerazione i requisiti menzionati. In più, rispetto ai pianificatori standard, l’approccio “learning-based”, proprio del RL, garantisce maggiore flessibilità al metodo proposto, rendendo possibile una sua futura estensione ad ambienti dinamici per un possibile utilizzo intra-operatorio. Il lavoro è stato svolto nel contesto del progetto Europeo “Enhanced Delivery Ecosystem for Neurosurgery in 2020” (EDEN2020). Tra i suoi scopi, EDEN2020 punta a sviluppare cateteri in grado di rimanere in-situ per periodi prolungati, per il trattamento di malattie neuro-oncologiche croniche. La principale tecnologia sviluppata all’interno del progetto è il “Programmable Bevel-tip Needle” (PBN), un nuovo catetere flessibile con una particolare struttura fatta da quattro segmenti incastrati tra loro, che permettono il movimento nello spazio 3D con ottima destrezza.