Vessel avoidance in open skull robotic neurosurgery through deep learning and virtual fixtures

In neurosurgery procedures for meningioma resections, minute and accurate operations in poor visibility conditions have to be performed. One of the most common complication (10.2%) is bleeding caused by tools misplacement with respect to the vessels. Even though after-treatment patient’s morbidity and mortality has been recently reduced, preservation of large vessel and bleeding avoidance remain of primary importance. Numerous robotic systems have been developed to assist surgeons in microneurosurgical interventions; however, they have not seen widespread clinical use due to drawbacks such as large size, obtrusiveness in the cramped surgical field, inability to adapt to changing conditions, limited function, inadequate integration with existing clinical workflow, increased operative time and high cost. All these issues can be overcome by omitting the robotic arms, and instead implementing forbidden zones and automatic force control within a completely handheld active instrument. With a device that is held and used like a scalpel, surgical tool used from the beginning of each surgeon's career, surgeons training, dexterous manipulation capability, and ability to adapt are retained. The present work investigates the use of Micron, a robotic handheld tool, to perform safer microsurgical neurosurgery automatically avoiding visible vessels, whose position is detected in quasi-real time (every 1.3s) by means of vessel segmentation and 3d reconstruction. A recently proposed deep learning approach was modified and exploited to perform fast and accurate vessel segmentation on RGB images. After the stereocamera calibration, the vessel mask was then used to integrate a feature-based passive 3D reconstruction algorithm and obtain accurate and robust vessel 3D positions from microscopy stereo-images. A registration framework was defined to map the 3D vessel point-cloud (in the stereo-camera reference system) into the robotic tool reference system. Finally, a virtual-fixture based strategy to control the handheld robotic tool was defined to implement vessel avoidance. None of the created algorithm required human intervention, once the robot is turned on, the operator is able to start the surgical procedure. The entire project has been implemented with the intent of being fast, for this reason multiple threads runs on the CPU while the GPU is responsible for the deep learning computations. An experimental set-up was developed in order to simulate Micron--vessel interaction in a surgical environment. Phantoms were created, which contained both vessels and nerves, lying on a background obtained from real Meningioma surgery microscopy images. A median dice similarity coefficient equal to 0.96 was achieved when comparing the obtained segmentation and the corresponding ground truth for 100 testing images. A set of 20 Micron trajectories of 80s, each referring to the interaction of Micron with a different phantom, were recorded. The median Micron tip penetration depth when the control was on was of 126.20um, which was 1 order of magnitude lower than the median vessel diameter. The results suggested that the presented work is surely a promising step towards a helpful system to support surgeons in performing safe vessel avoidance in neurosurgical procedures.

Durante le procedure neurochirurgiche per la resezione di meningiomi, nonostante le condizioni di ridotta visibilità del campo operatorio, devono essere effettuate operazioni ad elevato grado di precisione ed accuratezza. Tra le complicazioni più comuni(10.2%) vi sono le emorragie causate dagli errori di posizionamento degli strumenti operatori rispetto ai vasi sanguigni. Nonostante morbilità e mortalità post trattamento si siano recentemente ridotte, l'integrità dei vasi rimane di vitale importanza. Numerosi sistemi robotici sono stati sviluppati per assistere i chirurghi durante gli interventi di micro-neurochirurgia; tuttavia questi non si sono diffusi in ambito clinico a causa di svantaggi quali le grandi dimensioni che spesso ostruiscono il ristretto campo operatorio, l'inadattabilità rispetto alle differenti evoluzioni dell'intervento, la limitatezza nelle funzionalità, l'inadeguata integrazione con le altre strumentazioni presenti nelle sale operatorie, l'allungamento dei tempi operatori ed il costo elevato. Tutti gli svantaggi descritti possono essere evitati mediante l'omissione dei bracci robotici e l'implementazione di delle zone proibite con uno strumento attivo impugnabile. Con un dispositivo la cui impugnatura e modalità di utilizzo sono analoghe a quelle di un bisturi, strumento impiegato dall'inizio della carriera di ogni chirurgo, l'esperienza dei chirurghi, la loro manualità e la loro capacità di adattamento agli imprevisti vengono preservate. Il lavoro in oggetto investiga l'impiego di Micron, strumento robotizzato impugnabile, al fine di effettuare interventi di micro-neurochirurgia con un maggior grado di sicurezza, evitando i vasi sanguigni visibili. La posizione dei vasi è rilevata quasi in tempo reale 1.3s segmentandoli e ricostruendone la posizione 3D. Un recente approccio di deep learning è stato modificato ed usato per segmentare velocemente ed accuratamente i vasi sanguigni su immagini RGB. Dopo una procedura di calibrazione della stereocamera, la maschera vascolare è stata quindi usata per l'integrazione di un algoritmo passivo di ricostruzione 3D basato su features, che permetta di ottenere in maniera accurata e robusta la posizione 3D dei vasi a partire da delle immagini scattate con uno stere-microscopio. Un metodo di registrazione è stato definito al fine di mappare la nuvola di punti 3D rappresentante il vaso (nel sistema di riferimento del microscopio) nel sistema di riferimento del robot. Infine una strategia basata su virtual fixtures è stata usata per determinare le zone proibite. Nessuno degli algoritmi implementati richiede intervento umano, una volta acceso il robot, l'operatore può iniziare infatti la simulazione della procedura chirurgica. L'intero progetto è stato implementato con l'obbiettivo di essere veloce, pertanto thread multipli vengono eseguiti sulla CPU, mentre la GPU è preposta ai calcoli da effettuare con l'algoritmo di deep learning. Per la simulazione delle interazioni tra Micron ed i vasi è stato ricreato un ambiente operatorio. Il fantoccio usato era composto da vasi e nervi sovrapposti ad immagini prese da dei microscopi durante dei reali interventi di resezione del Meningioma. Il confronto di 100 immagini di prova con le rispettive segmentazioni manuali hanno permesso di stimare un coefficiente di dice similarity pari a 0.96. Si sono analizzate un insieme di 20 traiettorie della punta del Micron dalla durata di 80s e riferite a interazioni con diversi fantocci. A controllo attivo, la penetrazione mediana della punta è stata stimata per un valor medio di 126.20um, un ordine di grandezza inferiore rispetto al raggio del vaso. I risultati ottenuti fanno sì che il presente lavoro rappresenti un passo promettente verso la realizzazione di un sistema di supporto neurochirurgico atto a salvaguardare le strutture vascolari.