Towards semi-autonomous tissue retraction in robot assisted surgery : from tissue detection to gesture planning and execution

Robot-Assisted Minimally Invasive Surgery (RAMIS) has made procedures easier for surgeons and safer for patients. Nevertheless, it implies new control modalities of the surgical instruments, that could increase the surgeon's cognitive load, especially in the case of frequently recurring surgical tasks such as tissue retraction, performed in order to expose the area underneath a tissue. This work moves towards a semi-autonomous solution for tissue retraction using the da Vinci Research Kit (dVRK). The automation of this task requires the identification of the target tissue, which is subsequently retracted by planning and executing the retraction gesture. Concerning autonomous tissue retraction literature, none of the related works address the specific issue of autonomous detection of the tissue to retract. The grasping point, in fact, is selected by the user or highlighted with a marker placed on the tissue. The current work proposes as a solution a neural network model, trained to segment tissues from the background, by exploiting both spatial and temporal properties of the images. The dataset, used to train the model, is retrieved from stereo images streams, recorded by the endoscopic camera during surgical operations performed by expert surgeons on cadavers. The selected approach, a UNet enriched with temporal layers and attention gate blocks, has been compared with a standard UNet trained on the same dataset. The results, obtained on a new unknown part of the dataset, show an improvement of the neural network performances in terms of metrics (Accuracy, Precision) values, despite a higher variability across data, consequence of a significant sensitivity of the model to tool's disturbances. Starting from the resulting image segmentation, three points are identified on each image: the tissue and background centres of mass and the grasping point. To visually assess the correct location, the aforementioned points coordinates have been visualized in a 3D simulation space together with a reconstruction of the experimental setup, composed by a phantom, simulating an anatomical tissue, super-imposed to the picture of a surgical scene. Starting from the coordinates of these three points, a retraction movement has to be elaborated. In the dVRK-related literature concerning autonomous tissue retraction, this gesture is typically accomplished by grasping the tissue's flap, knowing a priori the geometry of the system. In this scenario, the dVRK end-effector stops in every specified point, generating a path composed of straight lines and arcs. This project, on the other side, proposes a solution aiming to obtain a smooth retraction gesture, which adapts to the position and dimension of the tissue. This work adopts the retraction strategy of mobilising the tissue's flap without grasping it, aiming to preserve its integrity. In particular, this strategy requires the laparoscopic tool to pass through specific way-points, whose coordinates are computed basing on the points retrieved in the previous step (tissue and background centres of mass and grasping point), that give information regarding the position and the dimension of the tissue. The majority of the related works makes use of the dVRK built-in trajectory generator, which does not allow to set way-points, to guarantee collisions avoidance between the dVRK manipulators' tools and to directly control the execution cartesian velocity. The present work achieves these capabilities by proposing a novel approach for computing smooth collision-free cartesian trajectories, passing through specified way-points and respecting the joint limits of the dVRK PSM. After the planning, the trajectories are thereby executed by directly sending the cartesian points to the dVRK controller with a control rate. As a result, the tissue retraction gesture can be accomplished through a smooth movement of the robotic arm with a desired cartesian velocity. Concerning the planning phase, several generally adopted geometric planners have been compared on different metrics (planning time, path length and path clearance from obstacles) in order to find the most convenient one. As a result, the BiEST (Bidirectional Expansive Space Trees) algorithm has been selected. As far as the execution is concerned, the performed comparison has been focused on the effects of the different control rate values used to send the trajectory points to the dVRK’s controller. In conclusion, this thesis introduces a novel approach towards semi - autonomous tissue retraction using the dVRK. A neural network model is designed in order to detect the tissue to retract, while the retraction gesture is obtained by planning and executing a collision-free cartesian trajectory, passing through some specified way-points and respecting the joint limits of the robotic arm. Future improvements include the testing on cadavers, using ad-hoc metrics to quantify the efficiency of the obtained semi-autonomous retraction with respect to the conventional manual retraction.

L'introduzione di ausili robotici ha reso le operazioni di chirurgia mini-invasiva più semplici per il chirurgo e più sicure per il paziente. D'altra parte, le modalità di controllo richieste dalle nuove strumentazioni chirurgiche hanno incrementato significativamente il carico cognitivo dei chirurghi, specialmente in corrispondenza dei gesti chirurgici più ricorrenti, come la retrazione di tessuti, necessaria al fine di esporre l'area sottostante. Il presente progetto propone una soluzione semi-autonoma per l'esecuzione del gesto di retrazione tramite il da Vinci Research Kit (dVRK). Automatizzare questo gesto richiede l'identificazione del tessuto in oggetto, il quale viene successivamente retratto attraverso la pianificazione ed esecuzione del gesto di retrazione. Nella letteratura inerente alla retrazione di tessuti, non vi è alcun lavoro che affronti il problema specifico della identificazione autonoma dei tessuti da retrarre. Le coordinate del punto di grasping, infatti, sono inserite manualmente dall'utente o evidenziate da un marcatore posto sullo stesso tessuto. Il presente progetto propone come soluzione un modello di rete neurale, allenato al fine di segmentare il tessuto dal resto della scena chirurgica, sfruttando sia le proprietà spaziali che temporali delle immagini. Il dataset, usato per la fase di apprendimento del modello, è stato estratto da video di operazioni chirurgiche svolte da chirurghi esperti su cadaveri, registrati tramite la stereo camera endoscopica del Da Vinci. Il modello proposto, ovvero una struttura UNet arricchita la layer temporali e blocchi di atttenzione, è stato confrontato con un classico modello UNet, allenato sullo stesso dataset. I risultati mostrano un incremento nelle prestazioni del modello in termini di metriche (Accuratezza, Precisione), a discapito di una maggiore variabilità nei dati, conseguenza della maggiore sensibilità al rumore introdotto dalla strumentazione. Successivamente, partendo dalle segmentazioni della rete neurale, sono state estratte da ogni immagine le coordinate di tre punti, rispettivamente i centri di massa del tessuto e dello sfondo e il punto di presa. Al fine di valutare visivamente l'esattezza della posizione, i tre punti precedentemente citati sono stati visualizzati in uno spazio 3D insieme alla ricostruzione di una setup sperimentale, costutita da un fantoccio di colon, super-imposto ad un'immagine di scena chirurgica. Partendo dalle coordinate di questi tre punti, una strategia di retrazione viene elaborata. Nella letteratura legata all'automatizzazione di retrazione di tessuti, questo gesto viene tipicamente realizzato pinzando il tessuto, conoscendo a priori la geometria del sistema. In questo scenario, l'effettore del dVRK si ferma in ognuno dei punti specificati, generando un percorso composto da linee rette e archi. Questo progetto, invece, propone una soluzione che mira ad ottenere un gesto di retrazione più fluido che si adatti alla posizione e alla dimensione del tessuto. Questo lavoro adotta una strategia che mira a mobilizzare il lembo del tessuto senza afferrarlo, preservando così la sua integrità. In particolare, questa strategia richiede di far passare lo strumento laparoscopico attraverso specifici punti di passaggio, le cui coordinate sono determinate a partire dai tre punti ottenuti dallo step di detezione del tessuto (centro di massa del tessuto e dello sfondo e punto di presa), i quali danno informazioni circa la dimensione e la posizione del tessuto. La maggior parte dei lavori correlati ha fatto uso del generatore di traiettorie predefinito del dVRK, il quale non permette di impostare punti di passaggio, di evitare ostacoli e di controllare direttamente la velocità cartesiana di esecuzione. Questo lavoro consegue l'ottenimento di queste abilità proponendo un approccio innovativo per calcolare traiettorie cartesiane che passino attraverso specifici punti di passaggio, considerando la presenza di ostacoli e rispettando allo stesso tempo i limiti dei giunti robotici del PSM del dVRK. Dopo la pianificazione, le traiettorie vengono successivamente eseguite inviando direttamente i punti cartesiani al controllore del dVRK con con una determinata frequenza di controllo. In questo modo, il gesto di retrazione di tessuti viene realizzato tramite un movimento fluido del braccio robotico con la velocità desiderata. Per quanto riguarda la fase di pianificazione, diversi pianificatori geometrici tipicamente usati in letteratura sono stati comparati su diverse metriche (tempo computazionale, lunghezza del percorso e la distanza dagli ostacoli) con l'obiettivo di trovare il più conveniente. Come risultato, l’algoritmo BiEST (Bidirectional Expansive Space Trees) è stato selezionato. Per quanto concerne lo step di esecuzione, il confronto effettuato è stato focalizzato sugli effetti di diversi valori di frequenza di controllo usati per inviare i punti della traiettoria al controllore del dVRK. Ricapitolando, la presente tesi propone una nuova soluzione per l'esecuzione semi-autonoma del gesto di retrazione di tessuti utilizzando il dVRK. La detezione dei tessuti è stata affrontata progettando un modello di rete neurale in grado di riconoscere il tessuto da retrarre, mentre il gesto di retrazione è stato ottenuto pianificando ed eseguendo una traiettoria cartesiana che passi attraverso dei punti di passaggio specifici, eviti gli ostacoli e rispetti i limiti dei giunti robotici del manipolatore. Lavori futuri permetteranno di testare l'approccio su cadaveri, usando metriche ad-hoc per quantificare l'efficienza dell'ottenuta retrazione semi-autonoma rispetto alla retrazione manuale convenzionale.