NeuroGlue : attentional graph based mosaicking in neurosurgery

The Surgical Microscope (SM) is the gold standard instrument in neurosurgery. The SM allows to visualise the surgical field and the anatomical details of the brain structures. On the other hand, the high magnifications provided by the SM cause a very limited field of view (FoV) that may lead to harmful operations on anatomical structures or a nearby organ, which will affect the surgical outcome. In the opinion of Humanitas Hospital neurosurgeons, the illustrated limitations have an evident influence on Cerebral Cavernous Malformations (CCMs) removal and glioma resection. A intra-operative system able to perform a real-time and broad exposure of the surgical theatre could be an effective tool to support neuro-surgeons in tumour or lesions localization and treatment. The panorama can represent an important reference for surgeon as it allows him to observe the brain tissue details using the SM magnifications and at the same time, to consult a broader map of the operating field, without moving the SM. The reconstruction and expansion process is obtained with a deep learning-based mosaicking framework, applied to some videos of a neurosurgical setting captured by a SM. To the best of our knowledge, this work represents the first application of mosaicking on neurosurgical images. The purpose of video mosaicking is to combine consecutive frames of a video sequence, in which each frame shows only an partial local view of the field of interest, in order to obtain a broader view of the same scene. The classical mosaicking approach is characterized by the following four stages: keypoints detection and description; keypoints matching with outlier rejection; homography estimation; and image warping and blending. The peculiar conditions of a neuro-surgical setting could affect the quality of the mosaicking result. Indeed the presence of regular patterns (for the blood vessel's structure), viewpoint changes, illumination variations, and motion blur are relevant factors that make the classical mosaicking method not robust enough. These issue introduces the need to find stable keypoints detectors and establish stronger matches between the keypoints of consecutive frames; essential characteristics for the correct homography matrix estimation and the consequent mosaicking accurate development. The proposed architecture is called NeuroGlue and it is constituted by a Fully Convolutional Neural Network (named SuperPoint) for keypoints detection and description and by an Attentional Graph Neural Network for keypoints matching. The combination between the NeuroGlue layers stability and the domain adaptation performed during training allows to achieve a promising result, both in visual terms and also in terms of 5-frames Structural Similarity Metric (i.e. SSIM), standing out clearly from traditional algorithms (BRISK, ORB and SIFT) and also respect to the SuperPoint model pre-trained with the COCO dataset. Mosaikcing for surgical theatre expansion answers to low visibility issue in neurosurgery with SM. Moreover its integration with navigation systems and preoperative images could minimize the inaccuracies for lesions or tumour localization and removal, improving the surgical outcome.

Il microscopio chirurgico (SM) è lo strumento maggiormente utilizzato negli interventi di neurochirurgia. Il microscopio chirurgico permette di visualizzare il campo operatorio e i dettagli anatomici delle strutture cerebrali esaminate. D'altra parte gli elevanti ingradimenti causano una riduzione sostanziale del campo visivo del chirurgo. Questa limitazione può risultare dannosa per le strutture anatomiche e gli organi coinvolti, influenzando l'esito dell'intervento chirurgico. Secondo l'opinione di alcuni neurochirurghi dell'ospedale Humanitas di Milano, queste limitazioni hanno un particolare effetto sulla rimozione di Malformazioni Caveronse Cerebrali (CCM), note anche come Angiomi, e sulla resezione di gliomi. Un sistema intra-operatorio capace di eseguire un'espansione del campo chirurgico in tempo reale potrebbe essere un efficiace strumento di supporto per il chirurgo nel trattamento e nella più agevole localizzazione di tumori e lesioni cerebrali. Il panorama può rappresentare un importarte riferimento per il chirurgo; in quanto egli può sia osservare i dettagli del tessuto cerebrale grazie agli ingrandimenti del microscopio e contemporaneamente consultare una mappa più ampia dell'intero campo chirurgico, senza dover spostare il microscopio. La ricostruzione del campo chirurgico si realizza tramite una rete di apprendimento per il mosaicking che riceve come input una sequenza di fotogrammi estratti da un video eseguito con microscopio. Al meglio delle nostre conoscenze, questo lavoro rappresenta il primo tentativo di applicazione della tecnica del mosaicking a immagini neurochirurgiche. Il processo di mosiacking mira a combinare una sequenza di immagini dove ognuna è caratterizzata da una visione parziale del campo di interesse. L'obbiettivo è quello di ottenere una rappresentazione più ampia della scena, la quale prende il nome di mosaico. La metodologia classica del mosaicking comprende quattro fasi: rilevamento e descrizione di punti chiave, identificazione delle corrispondenze tra i punti chiavi di fotogrammi consecutivi con eliminazione degli outlier, stima dell'omografia e infine trasformazione e unione delle immagini. Le condizioni peculiari di un ambiente neurochirurgico rappresentano un ostacolo rilevante per la corretta esecuzione del mosaicking. Infatti la presenza di schemi ripetitivi (dati dalla struttura dei vasi sanguigni), variazioni di illuminazione e sfocatura da movimento nelle immagini, sono fattori che rendono i metodi tradizionali non sufficientemente robusti. Questa problematica introduce il bisogno di utilizzare rilevatori e descrittori di punti chiave stabili e di calcolare corrispondenze più robuste tra i punti chiave di immagini consecutive. Queste sono caratteristiche essenziali per eseguire una corretta stima dell'omografia e il conseguente sviluppo accurato del mosaico. L'architettura proposta prende il nome di NeuroGlue ed è costituita da una Rete Neurale Convoluzionale (chiamata SuperPoint) per il rilevamento e la descrizione dei punti chiave, e da una Rete Neurale a Grafo Attenzionale per la fase di calcolo delle corrispondenze. La combinazione tra la stabilità di NeuroGlue, data dalla struttura della rete, e la procedura di adattamento al dominio eseguita durante la fase di allenamento, permette di ottenere un risultato promettente, osservabile sia visivamente ma anche in termini di metrica di similarità strutturale calcolata ogni 5 fotogrammi (indicata come SSIM). Dunque il metodo proposto si distingue chiaramente rispetto agli algoritmi tradizionali (BRISK, ORB e SIFT) e anche in relazione alla rete neurale SuperPoint, pre-allenata con il dataset COCO. La tecnica di mosaicking applicata all'espansione del campo operatorio risponde adeguatamente ai problemi relativi alla scarsa visibilità in neurochirurgia con microscopio. Inoltre la sua integrazione con i sistemi di navigazione e con le immagini preoperatorie potrebbe minimizzare le inaccuratezze riscontrate nella localizzazione e nel trattamento di lesioni cerebrali e tumori, migliorando l'esito dell'intervento chirurgico.