Study of computer vision algorithms to enhance the surgeon's capabilities in robotic minimally invasive surgery

Minimally Invasive Surgery (MIS) has revolutionised the traditional open-surgery technique by reducing the invasiveness of the access to the surgical site inserting surgical instruments and endoscope through few small incisions, reducing patient’s trauma, risk of infections, and thus, improving the surgical outcome. Despite the benefits, the uptake of MIS surgery has been slow due to some limitations, including limited surgeons’ manoeuvrability, reduced haptic and depth perception, limited freedom of movement due to the single endoscope port access and limited field of view of the surgical scene. The introduction of Robotics in Minimally Invasive Surgery (RMIS) overcomes many of the obstacles introduced by traditional laparoscopic techniques, by improving the surgeon’s manoeuvrability, the precision, and restoring hand-eye coordination and depth perception during the surgical procedure. Nevertheless, even if surgeons can benefit from such advanced technologies, the core of the surgery still relies on their degree of expertise and experience, and on their ability, for example, to fuse pre-operative information intra-operatively, making the outcome of the surgery depending on inter-surgeon skills. In abdominal surgery, for example, intra-operative bleeding is one of the major complications that affects the outcome of minimally invasive surgical procedures. One of the causes is attributed to accidental damages to arteries or veins, and one of the possible risk factors falls on the surgeon’s skills. The overall goal of this thesis is to develop novel computer vision algorithms for the implementation of assistive technologies focused at enhancing the surgeon’s intra-operative capabilities, to allow safer clinical procedures and improved outcomes. As a clinical application, we decided to focus the attention on abdominal surgery, where augmented reality can have a large impact and the challenges for its implementation are many and still open. Particularly, the PhD research has been focused on the following topics: (I) Development of a dense 3D reconstruction algorithm to intra-operatively measure soft tissue deformations, robust to illumination-variations, specular highlights and tissue characteristics. The work is focused on the implementation of a dense and accurate 3D reconstruction algorithm enriched with a novel refinement disparity map strategy, based on Simple Linear Iterative Clustering (SLIC) super pixel technique. In order to evaluate the algorithm, a phantom of abdomen (including liver, kidneys and spleen) was developed and a new and rich stereo endoscopic image dataset (EndoAbS dataset) was created. This dataset is openly available for the benefit of the computer vision community. Results show an accuracy of the algorithm below 2mm, with a percentage of reconstructed points over 70%, complying with the clinical requirements; (II) Development of a long-term safety area tracker (LT-SAT) to preserve soft tissue areas from injury during surgery. The proposed framework combines an optical flow algorithm with a tracking-by-detection approach in order to be robust against failures caused by: (i) partial occlusion, (ii) total occlusion, (iii) Safety Area (SA) out of the field of view, (iv) deformation, (v) illumination changes, (vi) abrupt camera motion, (vii) blur and (viii) smoke. A Bayesian inference-based approach is used to detect the failure of the tracker based on online context information. A Model Update Strategy (MUpS) is also proposed to improve the SA re-detection after failures, taking into account the changes of appearance of the SA model due to contact with instruments or image noise. Results obtained from test on ex-vivo and in-vivo video datasets show high precision (0:85) and recall performance (0:6), even in long videos (' 4min); (III) Development of an Enhanced Vision System to Improve Safety in Robotic Surgery (EnViSoRS) to protect vessels from injury during the execution of a robotic surgical procedures. The core of the framework consists in the integration of the previously developed dense 3D reconstruction algorithm (I) and long-term tracking (II), in combination with Augmented Reality (AR) features for warning the surgeon about distance between the instruments and a vessel enclosed by the SA. Results demonstrate that the proposed system has potential to offer useful assistance during real surgeries with commercial surgical robot (the dVRK system). The overall results presented by this thesis demonstrates the feasibility of using computer vision algorithms to enhance the surgeon’s capabilities during the execution a surgical procedure. The methodological progresses made in this work stress the potential of such algorithms in exploiting and extracting useful information implicitly contained in the images, overcoming challenging issues typical of a endoscopic surgical scenario and being inline within the requirements in terms of accuracy. In the future perspective, the proposed work represents only a portion of a wider framework to support the surgeon in the different phases of surgery.

La chirurgia mininvasiva ha rivoluzionato la tradizionale tecnica di chirurgia aperta, permettendo un accesso ridotto al campo operatorio, inserendo lunghi strumenti attraverso piccole incisioni. La riduzione dell’accesso chirurgico ha favorito una conseguente riduzione di infezioni post-operatorie, migliorando così la riuscita dell’intervento. Nonostante i benefici apportati, l’utilizzo di questa tecnica chirurgica è stato rallentato dalla presenza di diversi svantaggi, tra cui la compromessa manovrabilità del chirurgo e la ridotta percezione del contatto con i tessuti e della profondità di campo. L’introduzione della robotica in chirurgia ha permesso di superare parte di questi svantaggi, migliorando la manovrabilità, la precisione, e ristorando la coordinazione mano-occhio e la percezione della profondità di campo. Tuttavia, anche se i chirurghi possono beneficiare di tali tecnologie, il cuore dell’intervento è ancora sotto il loro totale controllo, facendo si che dipenda dal loro grado di esperienza, conoscenza, e dalla loro capacità di fondere il piano per-operatorio con le immagini intra-operatorie. In chirurgia addominale, ad esempio, il sanguinamento intra-operatorio di vasi sanguigni è una delle complicanze più importanti che possono presentarsi durante interventi di chirurgia mininvasiva. Una delle cause è attribuibile a danni accidentali ad arterie o vene, e uno dei possibili fattori di rischio è legato alle competenze del chirurgo. L'obiettivo di questa tesi è quello di sviluppare nuovi algoritmi di computer vision necessari per l'implementazione di nuove tecnologie assistive volte a migliorare le capacità intra-operatorie del chirurgo, per consentire procedure cliniche più sicure e migliori risultati. Come applicazione clinica, abbiamo deciso di concentrare l'attenzione sulla chirurgia addominale, dove la realtà aumentata può avere un grande impatto e le sfide per la sua attuazione sono molte e sono ancora aperte. In particolare, la ricerca del dottorato si è concentrata sui seguenti argomenti: (I) Sviluppo di un algoritmo di ricostruzione 3D per misurare intra-operativamente le deformazioni dei tessuti; l’algoritmo è stato sviluppato per essere robusto alle variazioni di illuminazione, riflessioni speculari e omogeneità della texture del tessuto, condizioni che caratterizzano le immagini endoscopiche. Il lavoro si è focalizzato sull'implementazione di un algoritmo di ricostruzione 3D che, grazie a una nuova strategia di raffinamento della mappa di disparità basata su Simple Linear Iterative Clustering (SLIC) di super-pixel nell’immagine RGB, permette di ottenere una nuvola di punti accurata e densa. Per valutare l'algoritmo è stato sviluppato un fantoccio di addome (costituito da fegato, reni e milza) ed è stato creato un nuovo e ricco set di immagini stereo-endoscopiche (chiamato EndoAbS dataset) con ground truth associato. Questo dataset è stato reso disponibile online a vantaggio della comunità di computer vision. I risultati mostrano un'accuratezza dell'algoritmo inferiore a 2mm, con una percentuale di punti ricostruiti superiori al 70%, rispondenti ai requisiti clinici; II) Sviluppo di un algoritmo di tracking di un’area di sicurezza (Long Term Safety Area Tracking - LT-SAT) per preservare aree di tessuto delicato da lesioni durante interventi chirurgici. Il sistema proposto combina un algoritmo di optical flow con un approccio di tracking-by-detection per incrementare la robustezza contro i fallimenti causati da: (i) occlusione parziale, (ii) occlusione totale, (iii) area di sicurezza (Safety Area - SA) fuori dal campo di vista, (iv) deformazione, (v) cambiamenti di illuminazione, (vi) movimenti bruschi della camera, (vii) sfocatura e (viii) presenza di fumo. Un algoritmo basato sull’inferenza Bayesiana è stato utilizzato per rilevare il fallimento del tracker basandosi sulle informazioni del contesto. Il metodo propone inoltre una strategia di aggiornamento del modello (Model Update Strategy - MUpS) per migliorare il rilevamento della SA dopo un fallimento, tenendo conto dei cambiamenti di aspetto della SA dovuti al contatto con strumenti o rumore della immagine. I risultati ottenuti da test su in ex vivo ed in vivo video mostrano un'alta precisione (0,85) e recupero (0,6), anche nei video più lunghi (≃ 4 min); (III) Sviluppo di un sistema di visione avanzata per migliorare la sicurezza nella chirurgia robotica (EnViSoRS) con l’obiettivo di proteggere vasi delicati da lesioni durante l'esecuzione di procedure chirurgiche robotiche. La parte principale del sistema consiste nell'integrazione dell'algoritmo di ricostruzione 3D (I) e tracking (II), sviluppati in precedenza, in combinazione con funzioni di Realtà Aumentata (AR) per avvertire il chirurgo della distanza tra gli strumenti e la superficie dell’area delicata selezionata. I risultati dimostrano che il sistema proposto ha il potenziale di offrire assistenza utile durante interventi eseguiti con sistemi robotici chirurgici commerciali (il sistema dVRK). I risultati complessivi presentati in questa tesi dimostrano i vantaggi di utilizzare algoritmi di computer vision per migliorare le capacità del chirurgo durante l'esecuzione di una procedura chirurgica. I progressi metodologici compiuti in questo lavoro sottolineano il potenziale di tali algoritmi nello sfruttare ed estrarre di informazioni utili contenute nelle immagini, superando problemi impegnativi tipici di uno scenario chirurgico endoscopico ed in linea con i requisiti in termini di accuratezza. Nella prospettiva futura, il lavoro proposto rappresenta un tassello importante di un quadro più ampio per aiutare il chirurgo nelle varie fasi dell'intervento chirurgico.