Real-time and accurate hologram-to-patient alignment for XR-Based intraprocedural guidance in neurosurgery

Modern neurosurgery requires increasingly advanced tools to enhance the precision and safety of surgical procedures. Traditional neuronavigation systems have significant limitations, such as the need for physical reference points, challenges in real-time intraoperative alignment, and the use of two-dimensional diagnostic images, which impose a high cognitive load on the surgeon. Mixed Reality (XR) represents a key innovation, enabling the direct overlay of 3D anatomical models onto the patient, allowing for more intuitive and accurate navigation. This study proposes an advanced method for registering and aligning CT images on the patient using Microsoft HoloLens II, to improve intraoperative navigation. The preoperative model is aligned to the patient through the intraoperative acquisition of a pointcloud, obtained by the surgeon tracing key anatomical landmarks. The algorithm does not require an initial alignment, making the process faster and more efficient. The method combines point cloud pre-processing to reduce noise with an optimized Iterative Closest Point (ICP) algorithm, ensuring stable and accurate alignment. The system has also been tested on deep structures, such as cerebral ventricles and subthalamic nuclei, proving useful for complex procedures such as external ventricular drainage (EVD) and deep brain stimulation (DBS). Experimental results show a root mean square error (RMSE) below 2 mm, confirming the robustness and adaptability of the proposed approach to different anatomical variations and operative conditions. The integration of mixed reality into neuronavigation thus holds significant potential for improving the precision, safety, and effectiveness of neurosurgical procedures.

La neurochirurgia moderna necessita di strumenti sempre più avanzati per migliorare la precisione e la sicurezza degli interventi. I sistemi di neuronavigazione tradizionali presentano limiti significativi, come la necessità di riferimenti fisici, la difficoltà nell’allineamento intraoperatorio e la rappresentazione bidimensionale delle immagini diagnostiche, che richiede al chirurgo un elevato sforzo cognitivo. La realtà mista (XR) offre un’innovazione chiave, sovrapponendo modelli anatomici 3D direttamente sul paziente per una navigazione più intuitiva e accurata. Questo studio propone un metodo avanzato per la registrazione e l’allineamento delle immagini CT sul paziente tramite Microsoft HoloLens II, l’obiettivo di migliorare la navigazione intraoperatoria. L’allineamento del modello preoperatorio sul paziente avviene tramite l’acquisizione intraoperatoria di una nuvola di punti, ottenuta dal chirurgo tracciando i principali riferimenti anatomici. L’algoritmo non richiede un allineamento iniziale, rendendo il processo più rapido ed efficiente. Il metodo combina pre-processing delle nuvole di punti per ridurre il rumore con un algoritmo ottimizzato di Iterative Closest Point (ICP), garantendo un allineamento stabile e accurato. Il sistema è stato testato anche su strutture profonde, come ventricoli cerebrali e nuclei subtalamici, risultando utile per interventi complessi quali drenaggio ventricolare esterno (EVD) e stimolazione cerebrale profonda (DBS). I risultati sperimentali mostrano un errore medio quadratico (RMSE) inferiore a 2 mm, confermando la robustezza e l’adattabilità dell’approccio a diverse variabilità anatomiche e condizioni operatorie. L’integrazione della realtà mista nella neuronavigazione offre quindi un significativo potenziale per migliorare la precisione, la sicurezza e l’efficacia delle procedure neurochirurgiche.