Robust visual augmented reality for robot-assisted surgery

The broader research objective of this line of research is to test the hypothesis that real-time stereo video analysis and augmented reality can increase safety and task efficiency in robot-assisted surgery. This master’s thesis aims to solve the first step needed to achieve this goal: the creation of a robust system that delivers the envisioned feedback to a surgeon while he or she controls a surgical robot that is identical to those used on human patients. Several approaches for applying augmented reality to da Vinci® Surgical Systems have been proposed, but none of them entirely rely on a clinical robot; specifically, they require additional sensors, depend on access to the da Vinci® API, are designed for a very specific task, or were tested on systems that are starkly different from those in clinical use. There has also been prior work that presents the real-world camera view and the computer graphics on separate screens, or not in real time. In other scenarios, the digital information is overlaid manually by the surgeons themselves or by computer scientists, rather than being generated automatically in response to the surgeon’s actions. We attempted to overcome the aforementioned constraints by acquiring input signals from the da Vinci® stereo endoscope and providing augmented reality to the console in real time (less than 150 ms delay, including the 62 ms of inherent latency of the da Vinci®). The potential benefits of the resulting system are broad because it was built to be general, rather than customized for any specific task. The entire platform is compatible with any generation of the da Vinci® System and does not require a dVRK (da Vinci Research Kit) or access to the API. Thus, it can be applied to existing da Vinci® Systems in operating rooms around the world. The initial phase of the technical work focused on writing drivers that allow a workstation computer to acquire real-time video data from the da Vinci® Surgical System. The second technical phase investigated how to display accurate three-dimensional augmented reality within the surgeon console. This effort required a detailed understanding of the pipeline of da Vinci®stereo vision, which includes calibration of the stereo endoscope, rectification of acquired images, computation of the disparity map, and the overlaying of computer graphics at desired three-dimensional positions in the original unrectified images. Additional features, such as surgical tool recognition and visual highlighting via a neural network, have also been integrated into the platform. The technical validity of the system was demonstrated by testing the drivers on different generations of the da Vinci® Surgical System and by testing the performance with respect to the latency, the stereo-reconstruction accuracy, and the accuracy of the virtual content displayed to the user. After the completion of this thesis, the created system will be used to test the aforementioned hypothesis on clinically relevant simulated surgical tasks. Planning for this study has begun; the tasks involved in robot-assisted hysterectomy have been analyzed with detailed input from surgeons, and phantom tissues that can be electro-cauterized are being fabricated. This research has been conducted at the Max Planck Institute for Intelligent Systems in Stuttgart, Germany, under the supervision of Dr. Katherine J. Kuchenbecker.

Questa tesi si inquadra all'interno di un'ampia linea di ricerca che ha l'obiettivo di verificare l'ipotesi che l'analisi di video in real-time e l’utilizzo di tecniche di realtà aumentata possano migliorare la sicurezza e l'efficienza in chirurgia robotica assistita. Il presente lavoro ha come obiettivo il completamento del primo tassello della citata linea di ricerca, ossia: la creazione di un sistema robusto che fornisca i prospettati feedback al chirurgo durante le operazioni che questi effettua mediante un robot chirurgico. Diversi approcci sono stati proposti per integrare la realtà aumentata al sistema chirurgico da Vinci®. Tuttavia, nessuno di questi è interamente basato su un robot clinico; nello specifico, alcuni lavori proposti richiedono sensori aggiuntivi, altri utilizzano le API del da Vinci®, altri ancora sono stati sviluppati per funzionare unicamente con task specifici, alcuni sono stati testati su sistemi fortemente diversi rispetto a quelli usati in ambito clinico. Alcuni lavori precedenti mostrano il video originale e la realtà aumentata in diversi monitor, oppure non in real time. In altri lavori il contenuto virtuale è sovraimposto manualmente dai chirurghi stessi o da tecnici informatici, piuttosto che essere generato automaticamente in risposta alle azioni del chirurgo. L'obiettivo di questa tesi è stato, pertanto, di cercare di superare questi limiti. I segnali video sono stati acquisiti direttamente dallo stereo endoscopio del da Vinci® e la realtà aumentata è mostrata al chirurgo in real time (la latenza totale ottenuta è inferiore ai 150 ms, includendo i 62 ms di latenza del sistema di visione del da Vinci® stesso). I vantaggi di un tale sistema sono ampi in quanto questo è stato progettato a carattere generale, invece che customizzato per specifici task. L'intera piattaforma risulta quindi compatibile con qualsiasi generazione del sistema chirurgico da Vinci®, e non richiede l'utilizzo del dVRK (da Vinci Research Kit) o alcun accesso alle API del sistema. Pertanto può essere applicato a qualsiasi sistema da Vinci® già presente nelle diverse sale operatorie nel mondo. La prima fase tecnica di questo lavoro ha riguardato la scrittura dei driver per permettere a un qualsiasi desktop computer, opportunamente attrezzato, di acquisire i video in real-time dal sistema chirurgico da Vinci®. La seconda fase tecnica ha investigato come mostrare un'accurata realtà aumentata in 3D all'interno della console attraverso cui il chirurgo opera. Tale fase ha richiesto una profonda conoscenza della pipeline di stereo visione del da Vinci® ed include la calibrazione dello stereo endoscopio, la rettificazione delle immagini, il calcolo della matrice di disparità e infine la sovrimposizione delle immagini virtuali nella desiderata posizione 3D nelle immagini originali non rettificate. Infine, sono state integrate nella piattaforma anche altre componenti, tra cui il riconoscimento e l'identificazione degli strumenti robotici chirurgici, tramite una specifica rete neurale riportata in appendice. Il sistema è stato validato testando i driver su diverse generazioni del sistema chirurgico da Vinci® e testando le performance rispetto alla latenza, all'accuratezza nella ricostruzione 3D e all'accuratezza nel mostrare il contenuto virtuale all'utente. Dopo il completamento di questa tesi, il sistema creato sarà utilizzato per testare l'ipotesi riportata precedentemente su task di interesse fortemente clinico. La pianificazione di questo studio è già iniziata; le diverse fasi dell’isterectomia robotica sono state analizzate con dettagliati commenti da parte dei chirurghi, ed è in atto lo sviluppo di tessuti che possano essere elettrocauterizzati. Questa ricerca è stata condotta al Max Planck Institute for Intelligent Systems a Stoccarda, Germania, sotto la supervisione della Dr.ssa Katherine J. Kuchenbecker.