Development of a surgical stereo endoscopic image dataset for validating and benchmarking 3D stereo reconstruction methods

Laparoscopic techniques base their advantages on the less invasiveness of the surgical procedure. However, this aspect affects the haptic and visual feedback: surgeons are constrained to operate inserting the instruments through small accesses, losing the direct contact with the tissue, and they can only rely on the narrow field of view of images from a mono or stereo endoscope. In the case of stereo endoscope, retrieving depth tissue information can be beneficial, particularly if it is integrated with intra-operative guidance or augmented reality systems. For example, the fusion of a surface reconstruction with pre-operative information can provide to the surgeon hidden tumor area visualization or allows the tracking of critical structures. In order to guarantee the reliability and robustness of the surgical procedure, the accuracy of these systems is of special importance. The validation of a 3D stereo reconstruction algorithm for laparoscopic surgery is commonly performed applying it on a dataset of stereo endoscopic images and comparing the reconstructed surface with a known ground truth. Nevertheless, a limited number of such databases is publicly available, due to several difficulties in the GT generation process, such as the high cost of accurate instrument to acquire the GT (e.g. laser or CT scanners) and the reproducibility of a realistic surgical scenario. In fact, GT of a real patient operation cannot be achieved due to: (i) the laparoscopic procedure makes a laser scanner unusable for limited access space, (ii) a CT scanner is not advisable due to its invasiveness for human body. Animal surgery can be considered an optimal scenario as well, but there are some ethical i ii implication. For all these reasons, ex-vivo or phantom organs are exploited. In this work, a stereo endoscopic image dataset including the GT information generated with a laser scanner was developed. The dataset proposed is composed of • Stereo-images of a surgical scenario; • GT point cloud of the same scenario; • Calibration parameters necessary for implementing the 3D stereo reconstruction. In addition, a comprehensive analysis of the the errors involved was conducted to validate the dataset. A surgical scenario, recorded by a custom-made stereo endoscope, was designed and abdominal phantom organs were created using a molding process, which started from 3D CT models, taken from an on-line database to build 3D negative molds. A soft polyurethane material blended with a softening agent was poured into the molds to generate the phantoms. The organ phantoms were finally painted to reproduce both the real organ texture and the presence of vessels. The GT was acquired with a laser scanner and a new algorithm was proposed to calibrate the laser scanner with the stereo endoscope that was used to record the phantom scenario. For this method, a custom-made calibration plate was designed and its vertices served for a point-to-point registration. Since the 3D stereo reconstruction algorithms have to be robust against different environmental surgical conditions, such as variation of the distance of the stereo endoscope, illumination changes and smoke presence, they were reproduced into the dataset. The stereo images were recorded varying the distance between the surgical scenario and the stereo endoscope, the endoscope light intensity and introducing artificial smoke. In the experimental phase, a preliminary analysis was carried out to study the mechanical properties of the employed materials in order to the organs to have a real organ stiffness: a compressive test was performed on a cylindrical iii porcine liver sample and on cylindrical polyurethane samples with different percentage of the softening agent. Regarding the evaluation of calibration procedure, two different experiments were performed to investigate the number of laser-camera acquisitions necessary to compute the rigid transformation between laser and left-camera reference system, as well as the best orientation of the calibration plate. A 3D reconstruction algorithm presented in the literature was evaluated using the proposed dataset to show the its applicability and a qualitative analysis, comparing the stereo-images of the proposed dataset with respect to real surgical images, was conducted From the compressive test results, 50% of the softening agent was chosen for the phantom organs. In this way, mechanical properties of the phantoms were similar to the porcine liver one. Statistical analysis for the calibration experiments showed that an optimal camera-laser calibration procedure consisted in a one image-scan acquisition of the calibration plate. Median calibration error of 1.6 mm can be reached orienting the calibration plate as parallel as possible to the laser scanner. Results from the algorithm evaluation were in accordance with the ones achieved using a different dataset provided in the literature and realistic organ features were figure out from the comparison with the real images, such as blood spot, vessel presence and few texture variation. In conclusion, a new surgical stereo dataset with an associated GT was provided, as well as a comprehensive description of both the generation process and the error involved. This dataset can potentially allow a fair comparison of 3D stereo reconstruction algorithms in the literature under different environmental condition

Le tecniche di chirurgia mininvasiva garantiscono migliori risultati a favore del paziente grazie ad una invasivit`a limitata a piccole e poche incisione in cui vengono inseriti gli strumenti. Tuttavia questo aspetto compromette la manovrabilit`a del chirurgo nell’eseguire la procedura chirurgica, e, in particolare, non ha la percezione diretta del contatto con gli organi e il campo di vista si riduce alla sola immagine catturata da un endoscopio o uno stereo endoscopio. Sistemi di navigazione intra-operatoria o sistemi di realt`a aumentata possono fornire informazioni addizionali durante l’intervento. Molto spesso sono integrati con algoritmi di ricostruzione 3D per tener traccia run-time della deformazione dei tessuti. Alcuni esempi di applicazioni vedono la ricostruzione 3D integrata con informazioni pre-operatorie per permettere la visualizzazione di un’area tumorale o l’identificazione run-time di strutture di interesse. Chiaramente, per garantire l’affidabilit`a e la sicurezza di un’operazione chirurgica, l’accuratezza di questi sistemi `e di fondamentale importanza. Pertanto, la validazione di un algoritmo di ricostruzione 3D `e un passaggio cruciale. La validazione degli algoritmi di ricostruzione 3D basati su stereo immagini viene comunemente fatta applicando l’algoritmo stesso ad un dataset di immagini e confrontandone la ricostruzione ottenuta con quella gi`a nota (ground truth, GT), associata al dataset. Purtroppo solo un limitato numero di dataset con GT sono disponibili pubblicamente, a causa delle difficolt`a nel processo di generazione del GT. I limiti riscontrati sono l’alto costo della strumentazione utilizzata per creare il GT iv v (laser scanner o TAC), e la difficolt`a nel ricreare uno scenario chirurgico il pi`u realistico possibile. Lo scenario ideale sarebbe una reale operazione chirurgica in laparoscopia, ma risulta impraticabile generare il GT con un laser scanner o una TAC. Per questo motivo si utilizzano organi di animali ex-vivo o organi finti. Lo scopo di questa tesi consiste nella creazione di un dataset di immagini stereo endoscopiche, alle quali `e stato associato un GT generato con un laser scanner. Il dataset `e composto da: • stereo immagini di uno scenario chirurgico • GT associato ad ogni immagine • Parametri di calibrazione delle camere dell?endoscopio, necessari per effettuare la ricostruzione 3D con le stereo immagini. Lo scenario chirurgico, rappresentate gli organi dell’addome, `e stato ricreato a partire da un database di TAC presenti on line. Utilizzando dei modelli 3D degli organi, sono stati creati degli stampi negativi, nei quali `e stato versato il materiale poliuretanico, mescololato con un additivo per modificarne le propriet`a meccaniche e renderle pi`u simili a quelle degli organi reali. Per finire, gli organi sono stati dipinti in modo da farli apparire pi`u realistici possibile, aggiungendo vasi sanguini e macchie di sangue. Un laser scanner ed uno stereo endoscopio, appositamente progettato, sono stati utilizzati per creare il dataset. Un metodo di calibrazione per calcolare la trasformazione tra i due sistemi di riferimento `e stato sviluppato. Una piastra di calibrazione, di forma irregolare, `e stata appositamente progettata ed i suoi vertici sono stati utilizzati per effettuare la registrazione punto a punto. Le immagini sono state acquisite contemporaneamente alle scansioni laser e per permettere una validazione pi`u robusta degli algoritmi di ricostruzione 3D, sono state acquisite variando alcune caratteristiche, quali l?intensit`a luminosa, la distanza dell’endoscopio e la presenza di fumo artificiale. Test di compressione su campioni di poliuretano (variando la percentuale dell?additivo) e su un campione di fegato di maiale sono stati effettuati per SUMMARY vi identificare la percentuale migliore dell’additivo nella miscela. La valutazione del metodo di calibrazione `e stata fatta individuando il numero ottimale di acquisizioni necessarie per la procedura di calibrazione e l’orientamento migliore della piastra utilizzata. Per verificarne la sua applicabilit`a, il dataset `e stata utilizzato per validare un algoritmo di ricostruzione 3D presente in letteratura. Infine, `e stato fatto un confronto tra le immagini generate e alcune immagini di chirurgia laparscopica reale. Dai test di compressione `e emerso che per eguagliare le caratteristiche meccaniche del fegato di maiale analizzato si deve utilizzare una percentuale del 50% nella miscela di poliuretano. Con i test statistici per la procedura di calibrazione `e stato dimostrato che `e sufficiente una sola acquisizione per calibrare accuratamente il sistema, orientando la piastra di calibrazione verso il laser scanner. In questo modo si ottiene un errore di calibrazione di 1.6 mm. Durante la valutazione dell’algoritmo di calibrazione si `e calcolato un errore di ricostruzione confrontabile con quello riportato in letteratura, ottenuto con un dataset differente. Confrontando le immagini reali con quelle create in questo lavoro, si possono rintracciare le caratteristiche tipiche delle immagini chirurgiche, quali specularit`a della luce, macchie di sangue, presenza di vasi, e poche variazioni di colore e trama. Questo lavoro ha permesso la creazione di un nuovo dataset di stereo immagini e GT, dimostratosi utile per validare algoritmi di ricostruzione 3D. La variazione di alcune caratteristiche (quali la distanza dell’endoscopio e l?intensit`a di luce) e la presenza di disturbi (come il fumo e le specularit`a della luce) nelle immagini permettono uno studio robusto delle performance di un algoritmo di ricostruzione 3D in diverse condizioni.