Mixed reality and leap sensors for hand-tracked control of the da Vinci Research Kit (dVRK)

In recent decades, robotic surgery has become a popular method for minimally invasive procedures, with systems like the da Vinci regarded as the gold standard in clinical practice. However, traditional consoles impose physical and postural constraints that limit surgeons' mobility and interaction with the environment. This restricts system use to the operating room and makes rapid interventions in emergencies more difficult. These limitations have prompted research into more flexible, portable and potentially low-cost solutions. This work proposes an innovative control interface for robotic teleoperation, integrating hand-tracking sensors (Leap Motion Controllers, LMCs) for kinematic reconstruction of the operator's hands and direct manipulator control and Mixed Reality (MR) for immersive visualization of surgical images and voice-controlled system management. The interface is developed and tested with the da Vinci Research Kit (dVRK) and is designed as a contactless alternative to the traditional console. The experimental evaluation used adapted peg transfer tasks and involved 16 subjects with different levels of experience with Augmented and Virtual Reality (AR/VR) systems or with the dVRK. Performance was assessed using objective metrics such as completion time, spatial accuracy, motion smoothness and bimanual coordination, as well as subjective measures of usability (System Usability Scale, SUS), workload (Surgery Task Load Index, SURG-TLX), and overall experience (User Experience Questionnaire, UEQ). The results show that the MR interface achieves execution times and error rates comparable to those of the traditional console, highlighting a rapid learning curve that is independent of participants' technical experience. The system promotes more symmetrical bimanual engagement and optimizes the duty cycle through more efficient management of the alternation between control and hand repositioning phases, reducing downtime due to the absence of mechanical inertia. However, it has lower spatial accuracy and greater dynamic instability because of the intrinsic limitations of optical tracking. Nevertheless, subjective evaluations indicate high usability and an interaction perceived as natural and intuitive, confirming the solution's validity as a low-cost surgical teleoperation alternative.

Negli ultimi decenni, la chirurgia robotica è diventata un metodo diffuso per le procedure minimamente invasive, con sistemi come il da Vinci considerati il gold standard nella pratica clinica. Tuttavia, le console tradizionali impongono vincoli fisici e posturali che limitano la mobilità dei chirurghi e la loro interazione con l'ambiente. Ciò limita l'uso del sistema alla sala operatoria e rende più difficili gli interventi rapidi in caso di emergenza. Queste limitazioni hanno stimolato la ricerca di soluzioni più flessibili, portatili e potenzialmente a basso costo. Questo lavoro propone un'interfaccia di controllo innovativa per la teleoperazione robotica, che integra sensori di tracciamento delle mani (Leap Motion Controllers, LMCs) per la ricostruzione cinematica delle mani dell'operatore e il controllo diretto del manipolatore e la realtà mista (MR) per la visualizzazione immersiva delle immagini chirurgiche e la gestione del sistema controllata dalla voce. L'interfaccia è stata sviluppata e testata con il da Vinci Research Kit (dVRK) ed è stata progettata come alternativa contactless alla console tradizionale. La valutazione sperimentale ha utilizzato task adattati di peg transfer e ha coinvolto 16 soggetti con diversi livelli di esperienza con i sistemi di realtà aumentata e virtuale (AR/VR) o con il dVRK. Le prestazioni sono state valutate utilizzando metriche oggettive quali tempo di completamento, accuratezza spaziale, fluidità dei movimenti e coordinazione bimanuale, nonché misure soggettive di usabilità (System Usability Scale, SUS), carico di lavoro (Surgery Task Load Index, SURG-TLX) ed esperienza (User Experience Questionnaire, UEQ). I risultati mostrano che l'interfaccia MR raggiunge tempi di esecuzione e tassi di errore paragonabili a quelli della console tradizionale, evidenziando una rapida curva di apprendimento indipendente dall'esperienza tecnica dei partecipanti. Il sistema promuove un coinvolgimento bimanuale più simmetrico e ottimizza il ciclo di lavoro attraverso una gestione più efficiente dell'alternanza tra le fasi di controllo e riposizionamento delle mani, riducendo i tempi di inattività dovuti all'assenza di inerzia meccanica. Tuttavia, presenta una minore precisione spaziale e una maggiore instabilità dinamica a causa dei limiti intrinseci del tracciamento ottico. Nonostante ciò, le valutazioni soggettive evidenziano un’elevata facilità d’uso e un’interazione percepita come naturale e intuitiva, confermando la solidità della soluzione come alternativa a basso costo per la teleoperazione chirurgica.