Real time pose tracking of a suturing needle

Suture needle localization and tracking plays a crucial role in the field of robot-assisted surgery, a field that started to rapidly grow in the last decades. Localizing and Tracking the 6 DoF pose of a suture needle is in fact the first step towards advanced autonomous suturing: without it downstream control modules cannot consistently grasp or steer the instrument through tissue. But given the lack of sensors specifically available for the task, the only real way to achieve the wanted result is to use detections obtained from the camera frame. In this thesis, we propose a fully markerless, end‑to‑end pipeline able to localize and track a suture needle in both static and dynamic scenarios, only using information coming from a stereo endoscope. The proposed system consists of three main steps: (1) deep feature points detection in the stereo video stream; (2) pose initialization via Point-to-Point Registration; (3) non‑linear on-manifold factor‑graph pose optimization combining geometric and relative motion residuals. We train our deep keypoint detector, and validate our approach in the standard simulated surgical environment provided by the 2023-2024 AccelNet Surgical Robotics Challenge. At the recommended working distance of 10 cm from the Target Anatomy (TA), the static localization pipeline achieves sub-millimeter and single-degree accuracy. Under continuous motion, our incremental optimizer degrades gracefully to approximately 1 mm of position error in space and 6 degrees in orientation. The complete stereo pipeline is shown to be able run to up to 29 Hz, ensuring real-time suture needle tracking.

La localizzazione e il tracciamento della posa a sei gradi di libertà di un ago da sutura rivestono un ruolo cruciale nella chirurgia robotica assistita, un ambito che ha visto un rapido sviluppo negli ultimi decenni. Questo specifico compito è infatti il primo passo per raggiungere livelli di autonomia avanzati: senza questa informazione i moduli di controllo successivi non potrebbero afferrare o guidare lo strumento attraverso i tessuti in modo affidabile e preciso. Tuttavia, in assenza di sensori specifici per questo compito, l’unico approccio praticabile è sfruttare le rilevazioni ottenute dal flusso video di un endoscopio. In questa tesi proponiamo una approccio che non sfrutta marcatori, e che quindi sfrutta un comune ago da suture reperibile in commercio, in grado di localizzare e tracciare la posa di un ago da sutura sia in scenari statici che dinamici, utilizzando esclusivamente il flusso video generato da un endoscopio stereo. Il sistema si articola in tre fasi principali: (1) rilevazione di punti specifici sull'ago; (2) inizializzazione della posa basata su una registrazione punto per punto; (3) ottimizzazione non lineare della posa sfruttando grafi con fattori e una combinazione di informazioni geometriche e temporali. Il nostro rilevatore di punti chiave, così come l’approccio generale, sono addestrati e testati nella simulazione di un ambient chirurgico messa a disposizione dalla "Surgical Robotics Challenge" 2023‑2024 di AccelNet. Alla distanza di lavoro consigliata di 10 cm dall’anatomia bersaglio, il nostro metodo è in grado di stimare la posa dell'ago con una precisione sub-millimetrica, per quanto riguarda la posizione, e con un solo grado di scarto per quanto riguarda la rotazione. In presenza di movimento continuo, l'accuratezza del nostro modello decresce leggermente, raggiungendo 1 mm di errore posizionale e 6 gradi di errore angolare. Il sistema proposto è inoltre in grado di funzionare ad una frequenza di circa 29 Hz, assicurando dunque la funzionalità in tempo reale.