Development and evaluation of a simple hologram-to-patient registration method using a head-mounted display and an external depth camera

Mixed Reality, a concept defined as the blending between virtual and physical world through the use of real and holographic elements, holds the promise of becoming a useful tool during Image Guided Surgery; latest developments in this field have achieved a number of applications which would improve the surgeons experience by providing visualization of complex and 3D anatomical structures as well as surgical instrumentation in real time through the use of Head-Mounted Displays. Nevertheless, the need for further validation to prove the accuracy of these methods is needed for its implementation inside the Operating Room. One of the fields of interest corresponds to the assessment of patient-to-hologram registration, which is the process responsible for the accurate superimposition of virtual elements over the real world anatomical structures. In this thesis, the development of a simple and marker free hologram-to-patient registration method using a Head-Mounted Display (HoloLens 2, Microsoft, Washington) in combination with an external Depth Camera (Azure Kinect, Microsoft, Washington) is presented; the selected anatomical surface for the development of the method consists of a 3D printed human head phantom with its corresponding CT virtual model. The presented work includes two methods for the acquisition of patient surfaces using a single or multiple frames in favor of an improved hologram-to-patient registration quality along with an offset correction algorithm for the adjustment of errors due to HoloLens 2 intrinsic inaccuracies. An assessment for the accuracy of both registration methods was performed using an Optical Tracking system; registered mean error distance between the head phantom and the superimposed virtual model displayed through the Head-Mounted Display was of 8.34+-0.73mm before offset correction and 3.85+-0.19mm after offset correction for the single frame registration method, as for the multi frame registration method the obtained results were 9.83+-1.04 before offset correction and 7.15+-0.87mm after offset correction. As interesting as these results seem to be, the obtained accuracy is not sufficient for surgical interventions implementation, however, the presented work sets the foundations for improvements over the developed method for future developments.

Realtà mista, un concetto definito come la fusione tra il mondo virtuale e quello fisico attraverso l'uso di elementi reali e olografici, promette di diventare uno strumento utile durante la chirurgia guidata dalle immagini; gli ultimi sviluppi in questo campo hanno raggiunto una serie di applicazioni che migliorerebbero l'esperienza dei chirurghi fornendo la visualizzazione di strutture anatomiche complesse in 3D e di strumentazione chirurgica in tempo reale attraverso l'uso di display montati sulla testa. Tuttavia, la necessità di un'ulteriore convalida per dimostrare l'accuratezza di questi metodi è necessaria per la sua implementazione all'interno della sala operatoria. Uno dei campi di interesse corrisponde alla valutazione della registrazione paziente-ologramma, che è il processo responsabile dell'accurata sovrapposizione di elementi virtuali sulle strutture anatomiche del mondo reale. In questa tesi viene presentato lo sviluppo di un metodo di registrazione ologramma-paziente semplice e privo di marcatori utilizzando un display montato sulla testa (HoloLens 2, Microsoft, Washington) in combinazione con una videocamera di profondità esterna (Azure Kinect, Microsoft, Washington); la superficie anatomica selezionata per lo sviluppo del metodo è costituita da un fantoccio di testa umana stampato in 3D con il corrispondente modello virtuale CT. Il lavoro presentato include due metodi per l'acquisizione delle superfici del paziente utilizzando uno o più fotogrammi a favore di una migliore qualità di registrazione ologramma-paziente insieme a un algoritmo di correzione dell'offset per la regolazione degli errori dovuti alle imprecisioni intrinseche di HoloLens 2. È stata eseguita una valutazione dell'accuratezza di entrambi i metodi di registrazione utilizzando un sistema di tracciamento ottico; la distanza di errore media registrata tra il fantoccio della testa e il modello virtuale sovrapposto visualizzato tramite il display montato sulla testa era di 8,34+-0,73 mm prima della correzione dell'offset e di 3,85+-0,19 mm dopo la correzione dell'offset per il metodo di registrazione a fotogramma singolo, per il metodo a più fotogrammi i risultati ottenuti sono stati 9,83+-1,04 prima della correzione dell'offset e 7,15+-0,87 mm dopo la correzione dell'offset. Per quanto interessanti possano sembrare questi risultati, l'accuratezza ottenuta non è sufficiente per l'attuazione degli interventi chirurgici, tuttavia, il lavoro presentato pone le basi per miglioramenti rispetto al metodo sviluppato per sviluppi futuri.