Exploiting kinematic redundancy of surgeons for motor augmentation to control the Da Vinci Camera

The aim of this project is to enable the surgeon to manipulate the camera of the da Vinci robot through arbitrary movements of the lower body, thereby exploiting some kinematic kernels to accomplish this task. The lower body movements are decoupled from those of the hands, which can be employed to govern the surgical instruments. Consequently, the system permits the simultaneous movement of the camera and surgical instruments, a feat not achievable with the da Vinci robot. The project employs the MVN Awinda system developed by Xsens for the lower body tracking. This system comprises seven motion sensors which are capable of measuring the relevant variables of the joints involved in the movements, thereby enabling the reconstruction of the user’s motion. Xsens proprietary software facilitates the transfer of these variables to the network, where they undergo a principal component analysis (PCA) and further processing on the ROS platform. From joints’ angles, the system seeks to conduct motion recognition through the application of PCA, referring to previous researches conducted at the University of Siena. The objective of employing this technique is to enable each user to select the most comfortable gestures for their individual preferences, rather than imposing any predetermined assumptions about the optimal movements based on the surgeon’s posture or comfort. In order to achieve this goal, the experiment entails an initial setup phase, wherein the user isinstructed to perform four movements of their choosing, and then assign each of them to one of the four degrees of freedom (DoF) of the camera.

L’obiettivo di questo progetto è consentire al chirurgo di manipolare la telecamera del robot Da Vinci attraverso movimenti arbitrari della parte inferiore del proprio corpo, sfruttando dei kernel cinematici. I movimenti della parte inferiore del corpo sono disaccoppiati da quelli delle mani, che possono essere utilizzate in parallelo per governare gli strumenti chirurgici. Di conseguenza, il sistema consente il movimento simultaneo della telecamera e degli strumenti chirurgici, non ancora possibile con l’attuale da Vinci. Per tracciare i movimenti della parte inferiore del corpo, il progetto impiega il sistema MVN Awinda della Xsens. Questo comprende sette sensori di inerzia in grado di misurare le variabili rilevanti delle articolazioni coinvolte, consentendo così la ricostruzione del movi- mento dell’utente. Il software della stessa Xsens permette di trasmettere sulla rete queste variabili, che vengono successivamente sottoposte a un’analisi delle componenti principali (PCA) nell’ambiente ROS. A partire dalle variabili di giunto delle articolazioni, il sistema effettua il riconoscimento del movimento tramite la PCA, prendendo spunto da precedenti ricerche condotte presso l’Università di Siena. L’obiettivo dell’impiego di questa tecnica è quello di consentire a ciascun utente di selezionare i gesti più comodi secondo le proprie preferenze, piuttosto che fare ipotesi e imporre movimenti prescelti in base alla postura o al comfort del chirurgo. L’esperimento prevede una fase iniziale di setup, in cui viene chiesto all’utente di eseguire quattro movimenti a sua scelta, assegnando poi ciascuno di essi a uno dei quattro gradi di libertà della telecamera