Head-mounted display visualization system for surgical operations

Augmented Reality (AR) is a powerful technology that allows the user to enrich the experience of reality, integrating it with digital information. It offers an innovative approach for treatments, education, and surgeries. The goal of AR in aided surgery is to provide the surgeon a more comfortable environment in which work by improving the quality of navigation, mainly in a situation where a lack of visibility strongly limits the field of view. In endoscopy procedures manipulators might go out from the field of view, causing loss of information related to tools’ positions. A 2D vision system is used so far, although it is simple from a developmental point of view, this approach is not able to provide the depth information and in surgery, where accuracy and precision are required, the possibility to have depth information is fundamental. Besides, the motion of the head away from the surgical field to look at the endoscope images on a screen has a direct impact on the eye-hand coordination of the surgeon and the security of the manipulation. In robot-assisted surgery, the da Vinci system is the most used robotic platform for mini-invasive surgery. Even if it is endowed with a 3D vision system, other limitations are encountered: the da Vinci system is composed of a surgeon’s console through which the manipulators at the remote side are controlled; the console imposes some physical constraints due to its dimension and structure, affecting the optimal sitting position of the surgeon, leading to body part discomfort, and also, leading to frequent interruptions of the operation to re-position the manipulators. An AR vision system tries to address these limitations: by using a head-mounted display (HMD) it’s possible to realize a stereo vision system with which navigation exploiting the natural movements of the head is enabled; being the HMD a wearable device, the motion of the head away from the surgical field is solved by delivering the images directly to the user’s eyes, moreover, the physical movements constraints imposed by the console are avoided, providing, therefore, a more ergonomic configuration for the user. The AR technology allows strengthening the vision system by realizing virtual optimized trajectories and providing more information during the operation, such as manipulators’ position. A 3D AR vision system joins together elements coming from the surgical reality and virtual elements carrying additional information to better support the surgeon during the operation, perform a safe movement and minimize the surgeon’s workload. The current thesis work has been developed at the Neuroengineering MedicalRobotics Laboratory (Nearlab), department of "Elettronica, Informazione eBioingegneria" (DEIB). Its goal is to develop a 3D AR vision system: the idea is to integrate an AR device (HTC Vive Pro) composed of a Head-mounted display and controllers, with the camera of the endoscope to visualize in AR what is captured by the camera. The HTC Vive Pro has been integrated with the da Vinci Research Kit: the VR device instead of the traditional surgeon’s console has been used for teleoperation. Controllers’ buttons’ state and HMD’s and controllers’ positions were got from the HTC Vive Pro to equip the system with the information needed to state the control. The endoscope position is determined by HMD position, manipulators’ positions are defined by controllers’ position, buttons’ states are used to enable/disable the teleoperation and to modulate the gripper of the end-effector. The realization of 3-dimensional vision is based on the physiological principle of binocular vision of the human visual system: stereoscopic vision is provided by combining two images (left and right) into one, the similarities are matched together and the disparities are integrated, resulting in depth perception. Since software used for VR device configuration and VR/AR implementation are only developed on Windows (Vive, SteamVR), the vision system has been implemented in Windows using Unity, a cross-platform 3D engine. On the other side, ROS is still a preliminary development stage on Windows, therefore, teleoperation control and 3D camera manipulation have been implemented in ROS on a computer with Linux operating system. A socket programming is used to bridge the Windows system and the Linux one using TCP/IP protocol to integrate their benefits. The 3D AR vision system is completed by the addition of virtual elements. Their goal is to aid and assist the user, performing tasks faster and easier by providing additional information and highlighting the target position that becomes much more visible. Guidelines, that make it possible to know where the manipulators are even if they go out from the field of view of the endoscope, are realized by mapping positions tools in the AR environment; geometrical virtual objects that highlight target position and indicates in which direction the user has to move the surgical tools to reach it are also implied. The developed 3D AR vision system has been evaluated performing three pick and place tasks including different movements and covering, therefore, a wider action set in the evaluation. Ten inexperienced subjects have been involved in this study case, they performed the three tasks in two configurations: with and without the addition of virtual elements. To evaluate the utility and efficiency of the 3D AR system, the score of successful attempts, completion time, and performance index were analysed for each participant and each modality. These metrics have been evaluated by a statistical test. For all the metrics the distributions obtained in AR configuration resulted significantly different from those in the basic configuration. The results highlighted that the system conceived improved the performances of the pick and place tasks, allowing to state that in AR configuration it’s possible to gain better results in less time.

La Realtà Aumentata (AR) è una tecnologia che permette all’utente di sperimentare una nuova realtà nella quale l’ambiente fisico e l’ambiente digitale si fondono arricchendo la percezione sensoriale dell’ambiente circostante. Offre un approccio innovativo in una vasta gamma di settori, tra i quali la medicina e la chirurgia. L’obiettivo dell’AR nella chirurgia assistita é quello di fornire al chirurgo un ambiente piú confortevole nel quale lavorare migliorando la qualità della navigazione, soprattutto in situazioni caratterizzate da un campo visivo fortemente limitato, condizione tipica nelle procedure di chirurgia mini-invasiva. Nelle procedure di endoscopia, infatti, i manipolatori potrebbero uscire dal campo visivo, causando la perdita di informazioni relative alle posizioni degli strumenti chirurgici. Attualmente il metodo di visualizzazione tradizionale impiegato nelle realtà ospedaliere prevede una visualizzazione su schermo 2D: sebbene sia semplice dal punto di vista implementativo, questo approccio non è in grado di fornire informazioni legate alla profondità, risulta quindi difficile stabilire l’esatta posizione nello spazio degli strumenti chirurgici e dei tessuti biologici. Inoltre, distogliere lo sguardo dal piano operatorio per osservare le immagini dell’endoscopio sullo schermo ha un impatto diretto sulla coordinazione occhio-mano del chirurgo e sulla sicurezza dell’operazione. Nella chirurgia robot-assistita, il da Vinci robot è la piattaforma robotica più utilizzata. Sebbene sia dotato di un sistema di visualizzazione 3D, presenta altre limitazioni: la console, utilizzata per controllare i manipolatori, a causa delle sue dimensioni impone alcuni vincoli fisici i quali influenzano la posizione del chirurgo causandogli disagi posturali e comportano frequenti interruzioni durante l’operazione per riposizionare i manipolatori. Un sistema di visualizzazione AR cerca di ovviare a queste limitazioni: utilizzando un head-mounted display (HMD) è possibile realizzare un sistema di visualizzazione tridimensionale attraverso il quale viene abilitata la navigazione mediante i movimenti naturali del capo, fornendo un’interfaccia user-friendly; essendo l’HMD un dispositivo indossabile, non è più necessario distogliere lo sguardo dal piano operatorio per osservare le immagini sullo schermo, vengono, inoltre, evitati i vincoli fisici imposti dalla console, fornendo, quindi, una configurazione più ergonomica per l’utente. La tecnologia AR permette di potenziare il sistema di visualizzazione realizzando traiettorie virtuali e fornendo informazioni aggiuntive durante l’operazione, atte a facilitarne l’esecuzione. Un sistema di visualizzazione 3D in realtà aumentata unisce elementi provenienti dalla realtà chirurgica ed elementi virtuali che portano informazioni aggiuntive per supportare meglio il chirurgo durante l’operazione, eseguire movimenti sicuri e ridurre il carico di lavoro. Il presente lavoro di tesi, è stato sviluppato presso il Laboratorio di Neuroingegneria Robotica Medica (Nearlab), dipartimento di "Elettronica, Informazione e Bioingegneria" (DEIB). Questo progetto mira a sviluppare un sistema di visualizzazione 3D AR: l’idea è quella di integrare un dispositivo di realtà virtuale (HTC Vive Pro), composto da un HMD e controllers, con il da Vinci Research Kit. La tradizionale console è stata sostituita dal dispositivo di realtà virtuale. La posizione dell’endoscopio è determinata dalla posizione dell’HMD, la posizione dei manipolatori è definita dalla posizione dei controllers, infine, l’apertura della pinza dell’end-effector è modulata tramite uno dei pulsanti dei controllers. La realizzazione della visione tridimensionale si basa sul principio fisiologico della visione binoculare del sistema visivo umano: la visione stereo-scopica è fornita dalla combinazione di due immagini (sinistra e destra) in una sola, in questa combinazione le somiglianze si fondono e le disparità vengono integrate, ottenendo così la percezione della profondità. Per ragioni di compatibilità tra software e sistemi operativi, questo sistema è stato sviluppato in parte in Windows e in parte in Linux. Nello specifico, i software utilizzati per la configurazione del dispositivo VR e l’implementazione VR/AR (Vive, SteamVR) sono disponibili solo su Windows, sul quale quindi è stata implementata l’interfaccia grafica utilizzando Unity. La teleoperazione e la manipolazione della video-camera 3D sono stati invece sviluppati in ROS, le cui funzionalità sono ufficialmente riconosciute compatibili in Linux-Ubuntu ma sono ancora ad uno stadio sperimentale negli altri sistemi operativi. Un canale di comunicazione basato su protocollo TCP/IP è stato istanziato tra i due sistemi operativi per integrare i due contributi. Il sistema sviluppato è completato dall’inserimento di elementi virtuali nella scena. Il loro obiettivo è quello di aiutare e assistere l’utente, in modo da permettere un’esecuzione più semplice e veloce, fornendo informazioni aggiuntive ed evidenziando la posizione dei target. Gli elementi virtuali sviluppati mirano ad una migliore localizzazione dei manipolatori e dei target. Le posizioni dei manipolatori sono state mappate nell’ambiente AR sviluppato, e mediante linee guida virtuali congiungenti le loro posizioni al centro della scena la posizione dei manipolatori resta nota anche se fuori dal campo visivo. Inoltre, sono stati integrati oggetti geometrici virtuali con lo scopo di evidenziare la posizione del target e indicare la direzione per raggiungerlo. Il sistema di visualizzazione 3D AR sviluppato è stato valutato mediante l’esecuzione di tre esercizi di "pick and place". Dieci soggetti inesperti hanno eseguito i tre esercizi in due configurazioni: con e senza l’aggiunta di elementi virtuali. Gli esercizi svolti comprendono diversi movimenti permettendo la valutazione di un ampio set di azioni. Per valutare l’utilità e l’efficienza del sistema sviluppato, il punteggio basato sui tentativi avvenuti con successo, il tempo di completamento e l’indice di performance sono stati registrati per ogni partecipante e ogni modalità, ed in seguito analizzati mediante un test statistico. I risultati hanno evidenziato un effettivo miglioramento delle performances nell’esecuzione degli esercizi in condizioni di realtà aumentata. Difatti le metriche hanno mostrato una differenza significativa tra i risultati nelle due configurazioni, dimostrando la capacità di ottenere risultati migliori in tempi più brevi con l’ausilio della realtà aumentata.