Console-free mixed reality teleoperation of the da Vinci Research Kit

Surgical robots are typically operated through large, stationary consoles that restrict surgeon mobility and create a physical barrier between the surgeon, patient, and bedside assistants, which can negatively affect the efficiency of surgical workflows and lead to communication challenges. To address these limitations, this thesis presents a novel mixed-reality (MR) based teleoperation and visualization framework for the da Vinci Research Kit. The system developed in this thesis leverages hand and head tracking from the Microsoft HoloLens 2, combined with voice commands, to control both surgical instruments and the endoscopic camera while simultaneously displaying endoscopic video on the headset. The control algorithm implemented in this project employs a relative position and orientation approach to overcome the limited range of hand motion caused by occlusion of the HoloLens cameras field of view during hand gesture tracking. To enhance intuitiveness during teleoperation, virtual instrument shafts aligned with the physical surgical instruments are rendered in the mixed reality scene. These virtual shafts help the surgeon visualize the orientation and position of the surgical instruments, and shift their perception from feeling that their hands are the instruments, as in the traditional console, to feeling that their hands hold the instruments, as in standard laparoscopic surgery. The system developed in this thesis was evaluated through a user study, which involved 11 participants and was performed using the Laparoscopic Skills Training and Testing method. Even if the results obtained showed that the proposed MR-based teleoperation system achieved lower task performance than the traditional teleoperation approach, participants exhibited fast improvements, and outlined comparable overall scores for the two systems in the System Usability Scale and NASA Task Load Index questionnaires. Additionally, the MR-based system realized in this thesis exhibits lower latency than other MR-based teleoperation approaches described in the literature, showing its potential for a novel mobile robotic surgery.

I robot chirurgici vengono solitamente controllati tramite console ingombranti e statiche che riducono la mobilità del chirurgo e creano una barriera fisica tra chirurgo, paziente e assistenti al tavolo operatorio. Per superare queste limitazioni, in questa tesi viene presentato un nuovo sistema di teleoperazione e visualizzazione per il da Vinci Research Kit basato sull'utilizzo di realtà mista. Il sistema sviluppato sfrutta le capacità di tracciamento delle mani e della testa del visore Microsoft HoloLens 2 che, unite all'utilizzo di comandi vocali, vengono usate per controllare gli strumenti chirurgici e l'endoscopio, mentre vengono mostrate sul visore le immagini endoscopiche. Il controllo degli strumenti si basa su posizione e orientamento relativi, consentendo all’utente di ampliare il range di movimento delle mani, altrimenti limitato dall’occlusione del campo visivo delle telecamere del visore. Per aumentare l'intuitività durante l'utilizzo del sistema sviluppato, sono stati realizzati nell'ambiente di realtà mista dei manici virtuali degli strumenti, allineati con i veri strumenti chirurgici. Questi manici virtuali aiutano il chirurgo sia a visualizzare l'orientamento e la posizione degli strumenti chirurgici, sia a passare dalla percezione che le sue mani siano lo strumento, come accade con la console tradizionale, alla percezione che le sue mani sorreggano lo strumento, come nella chirurgia laparoscopica standard. Il sistema sviluppato è stato poi valutato attraverso uno studio sperimentale condotto con 11 partecipanti utilizzando il protocollo Laparoscopic Skills Training and Testing. I risultati ottenuti mostrano che, nonostante si ottengano prestazioni migliori utilizzando la console tradizionale, i partecipanti hanno mostrato un rapido apprendimento e hanno riportato punteggi simili per i due sistemi nei questionari System Usability Scale e NASA Task Load Index. Inoltre, il sistema sviluppato presenta una latenza molto inferiore rispetto a quella di altri sistemi per la teleoperazione di robot chirurgici basata su realtà mista, dimostrando grande potenziale per una chirurgia robotica che garantisce mobilità al chirurgo.