Accelerometer integration in the da Vinci Research Kit-Si for learning-based contact detection during teleoperation

In surgical robotics, the surgeon operates the patient-side robot from a remote console, which prevents natural force sensing and haptic feedback. This limitation has motivated extensive research on force estimation and feedback implementation methods, while contact detection has been comparatively less explored, despite its potential to support sensory restoration. This thesis presents a learning-based framework for real-time tool-tissue contact detection on the da Vinci Research Kit-Si (dVRK-Si), aiming to achieve reliable and low-latency contact recognition during teleoperated surgical procedures. The model input combines robot feedback in Cartesian and joint space with acceleration data acquired from an inertial measurement unit (IMU) integrated into the patient-side manipulator (PSM) of the dVRK-Si. A capacitive contact sensor is designed to serve as ground-truth reference for dataset annotation, and a complete pipeline for data acquisition, synchronization, and pre-processing is implemented to train a model that outputs a scalar contact probability in the range [0, 1], representing the likelihood of contact occurrence. The model is then deployed in real time on the GPU-free dVRK-Si workstation via the Open Neural Network Exchange (ONNX) Runtime using a multi-threaded producer-consumer architecture. In addition, a minimal visual feedback interface is developed to display the detected contact state to the operator in real time. The proposed approach achieved over 82% accuracy, showing statistically significant improvements over kinematics-only methods, with an average detection delay of 168 ms. Furthermore, the binarization threshold on the network output can be adjusted to balance responsiveness and robustness depending on the operative context. These results demonstrate the feasibility of accurate, computationally lightweight, and low-latency contact detection for robotic surgery applications.

Nella chirurgia robotica, il chirurgo opera il robot posto accanto al paziente da una console separata, condizione che impedisce la percezione naturale delle forze e il feedback aptico. Questa limitazione ha motivato numerose ricerche sui metodi di stima delle forze e sulla loro restituzione al chirurgo; la rilevazione del contatto tra strumento e tessuto è stata, invece, esplorata in misura minore, nonostante il potenziale contributo al miglioramento del feedback sensoriale. La presente tesi propone un framework basato su machine learning per la rilevazione in tempo reale del contatto strumento-tessuto sulla piattaforma da Vinci Research Kit-Si (dVRK-Si), con l’obiettivo di ottenere un riconoscimento affidabile e a bassa latenza durante la teleoperazione. L’input del modello combina misure interne al robot con i dati di accelerazione acquisiti da un’unità di misura inerziale (IMU) integrata nel manipolatore lato paziente (PSM) del dVRK-Si. È stato inoltre realizzato un sensore capacitivo di contatto per fornire una ground-truth di riferimento per l’annotazione del dataset. È stata implementata una pipeline per l’acquisizione, la sincronizzazione e il processamento dei dati, utilizzata per addestrare un modello che produce una probabilità di contatto compresa nell’intervallo [0, 1]. Il modello è stato implementato in tempo reale sulla workstation del dVRK-Si, priva di GPU, attraverso Open Neural Network Exchange (ONNX) Runtime e una struttura producer-consumer multi-thread. Inoltre, è stata sviluppata una minimale interfaccia di feedback visivo per mostrare all’operatore, in tempo reale, lo stato di contatto rilevato. L’approccio proposto ha raggiunto un’accuratezza superiore all’82%, con miglioramenti statisticamente significativi rispetto ai metodi basati solo su dati interni al robot, e una latenza media di 168 ms. La soglia di binarizzazione dell’output del modello può essere regolata per bilanciare reattività e robustezza in base al contesto operativo. I risultati ottenuti dimostrano la fattibilità di una rilevazione del contatto accurata, computazionalmente leggera e a bassa latenza, adatta all’integrazione in applicazioni di chirurgia robotica.