Integration of 3D reconstruction and vessel segmentation algorithms into the da Vinci surgical system

In the last twenty years, minimally invasive robotic surgery (RAMIS) has developed as an alternative to traditional and laparoscopic surgery, reducing invasiveness and the risks of infections and complications. Despite these advantages, some limitations still make these procedures challenging and dependent on surgeons experience and ability. These disadvantages are associated with limited movements, reduced field of view, and altered perception of applied strength and depth, factors that can lead to complications and damages during the operation. Thus far, the most promising solution to improve the quality and safety of these procedures relies on the development of assistive technologies based on Augmented Reality (AR) and Virtual Fixture (VF) techniques. These techniques are intended to guide the surgeon, improve performance, and integrate pre-operative information into the surgical scene, revealing hidden details or identifying structures of interest. The aim of this thesis work is to develop and integrate combined computer vision algorithms into the da Vinci robot to support future development of AR applications. In particular, the framework, using images acquired by the endoscope, is able to reconstruct the scene in 3D and segment the blood vessels. Through ROS communication system, the robot provides images from the endoscope, which are then processed and used by two Deep Learning models to respectively estimate the disparity map and segmentation mask. This process generates a point cloud representative of the surgical scene in which the blood vessels are highlighted and recognizable. The framework has been validated using public and private datasets to evaluate its performance in terms of error, speed, and temporal consistency. The obtained results demonstrate that the framework fulfills the requirements for temporal consistency and speed when used on computers with multiple high-performance GPUs. Additionally, the 3D reconstruction errors are acceptable and aligned with the state-of-the-art, while segmentation results show more variability, achieving high accuracy, especially under stable conditions.

Negli ultimi venti anni, la chirurgia robotica mini-invasiva si è sviluppata per fornire un’alternativa alla chirurgia tradizionale e laparoscopica, riducendone l’invasività e i rischi associati a infezioni e complicazioni. Nonostante questi vantaggi, alcune limitazioni rendono ancora oggi queste procedure impegnative e strettamente correlate all’esperienza e abilità del chirurgo. Questi svantaggi sono associati alla limitazione dei movimenti, al campo visivo ridotto e alla percezione alterata della forza e della profondità, fattori che possono portare a complicazioni e danni durante l’operazione. Ad oggi, la soluzione più promettente per migliorare la qualità e la sicurezza di queste procedure risiede nello sviluppo di tecnologie assistive basate sulla Realtà Aumentata (AR) e tecniche di Virtual Fixture (VF). Queste tecniche hanno lo scopo di guidare il chirurgo, migliorarne la performance e integrare informazioni pre-operative alla scena chirurgia, mostrando dettagli nascosti o identificando strutture d’interesse. L’obiettivo del lavoro di tesi è lo sviluppo e l’integrazione all’interno del robot da Vinci di algoritmi di computer vision combinati a supporto di futuri sviluppi di applicazioni di AR. In particolare, il framework sviluppato, attraverso le immagini acquisite dall’endoscopio, è in grado di ricostruire la scena operatoria in 3D e segmentarne i vasi sanguigni. Attraverso il sistema di comunicazione ROS, il robot fornisce le immagini provenienti dall’endoscopio, che vengono processate e utilizzate da due modelli di Deep Learning per stimare rispettivamente la disparity map e maschera di segmentazione, al fine di generare una nuvola di punti rappresentativa della scena chirurgica in cui i vasi sanguigni siano evidenziati e riconoscibili. Il framework è stato validato su dataset pubblici e privati allo scopo di valutarne le performance in termini di errore, velocità e coerenza temporale. I risultati ottenuti mostrano che il framework è in grado di soddisfare i requisiti di coerenza temporale e di velocità se utilizzato su computer dotati di GPU multiple e altamente performanti. Inoltre, gli errori di ricostruzione 3D risultano accettabili e allineati con lo Stato dell’Arte, mentre i risultati sulla segmentazione mostrano più variabilità, raggiungendo comunque alta accuratezza, soprattutto in situazioni stabili.