Supervised tissue classification in optical images: towards new applications of surgical data science

Intra-operative tissue classification plays a fundamental role in different clinical fields. The automatic image-based tissue classification is a valuable solution to provide decision support and context awareness intra-operatively. The surgical data science (SDS) community is focusing more and more on machine learning (ML) to perform tissue classification in the operating room (OR). However, several technical challenges are still present, hampering the clinical translation of the developed methodology in the clinical practice. Indeed, robust and reliable tissue classification is not trivial due to noise in the image, varying illumination level, different camera pose with respect to the tissues, and intra- and inter-patient tissue variability. There are several aspects that can be tackled to potentially overcome these issues, including hardware design (to allow high-quality optical imaging), identification of images to be processed (to avoid the processing of uninformative images), and estimation of classification confidence (to improve system performance by excluding uncertain results). On this background, the overall goal of this PhD thesis was to develop a framework for ML-based SDS algorithms for robust and reliable tissue classification in intra-operative optical images, as to offer decision support and provide context awareness during interventional-medicine processes. In particular, the contributions of this PhD work are: A new method (M1) to automatic learning-based informative frame selection, which exploited a new set of features to retrieve informative frames to be processed by tissue classification algorithms. M1 exploited intensity, keypoint and image spatial-content features to classify, with multi-class support vector machines (SVM), endoscopic frames as informative, blurred, with saliva or specular reflections, or underexposed. When tested on a balanced set of 720 images from 18 different narrow-band laryngoscopic videos, a classification recall of 91% was achieved for informative frames, significantly overcoming the state of the art approaches (median recall = 57%, maximum recall = 81%). A new method (M2) for reliable tissue classification in endoscopic images, which introduced a measure of confidence on classification to retrieve reliable classification results and improve classification performance. M2 exploited textural information and supervised and semi-supervised approaches coupled with confidence estimation for pathological tissue classification. When tested on 33 narrow-band laryngoscopic videos, which refer to 33 different patients affected by early-stage laryngeal cancer, a median classification recall of 93% was achieved. The method was also tested on the hepatic district, achieving a recall of 82% in classifying 40 RGB images acquired in the OR of healthy and pathological liver donors’ grafts. The classification recall was increased to 98% (laryngeal tissue) and to 86% (hepatic tissue) by estimating the confidence of the SVM classification and excluding low-confidence results. A new protocol (M3) for endoscopic-image analysis, which exploited multispectral imaging (MI) for data acquisition during endoscopic procedures with the goal of performing robust tissue classification and image tagging. M3 expanded M2 by exploiting for the first time in the literature intra-operative in vivo multispectral-imaging data acquisition and analysis. Multispectral data were acquired during laparoscopic procedures on 7 pigs. Six abdominal organs (abdominal wall, liver, spleen, gallbladder, diaphragm and intestine) were classified with multi-class SVM. The effect of using multispectral data was an increase in accuracy of 11% for the task of organ classification and an increase of 23% for the task of automatic image tagging with respect to standard RGB imaging. When exploiting the confidence measure proposed in M2, the result was a boost in classification accuracy of 38% (RGB) and 20% (MI). Integration of the SDS ML-based methodologies within a handheld robotic tool to perform tissue avoidance in simulated robotic-assisted surgical procedures (M4). With M4, ML-based tissue segmentation was integrated within a simulated robot-assisted surgical scenario. A forbidden-region virtual-fixture control was exploited, as to prevent unwanted robot-tissue interaction. In particular, phantom vascular structures were built and segmented using a deep–learning approach. When including the control, the error on the robotic tip position when it entered the forbidden zone (24% of the time) was small. Indeed, the median penetration error was 17 µm, which was 2 orders of magnitude smaller than median vessel diameter. This PhD thesis work lies in the wider research field of SDS, which aims at providing the surgeons with decision support and context awareness during interventional-medicine procedures. The methodologies presented in this PhD thesis demonstrated the feasibility of using SDS ML-based algorithms for intra-operative tissue classification in several anatomical districts. The methodological progress made in this work highlights the potential of SDS ML-based algorithms in extracting useful information implicitly contained in intra-operative optical images, overcoming challenges typical of intra-operative tissue classification to support surgeons during interventional-medicine procedures.

La classificazione intra-operatoria di tessuti biologici gioca un ruolo fondamentale in diversi campi clinici. Metodi di classificazione automatica basata su immagini possono fornire supporto decisionale ed informazioni circa il contesto in cui il chirurgo sta operando. Con lo scopo di eseguire in maniera automatica la classificazione di tessuti da immagini estratte in sala operatoria (operating room, OR), la comunità che si occupa di scienza dei dati nell’ambito delle procedure di medicina interventistica (surgical data science, SDS) si sta concentrando sempre di piú sull’apprendimento automatico (machine learning, ML). Tuttavia, le sfide tecniche che ostacolano la traslazione delle metodologie sviluppate nella pratica clinica sono molteplici. Le problematiche da affrontare al fine di ottenere una classificazione robusta ed affidabile sono: la presenza di rumore nelle immagini, il livello di illuminazione variabile, la diversa posa della camera rispetto ai tessuti ed infine la variabilitá intrinseca dei tessuti (sia intra che inter-paziente). Questi problemi possono essere affrontati attraverso la progettazione hardware (per ottenere immagini di qualitá sempre piú alta), l’identificazione delle immagini da elaborare (per evitare l’elaborazione di immagini non informative rispetto al contesto analizzato) e la stima della confidenza della classificazione (per migliorare le prestazioni del sistema di identificazione dei tessuti attraverso l’esclusione di risultati di classificazione incerti). Partendo da questi presupposti, l’obiettivo generale di questa tesi di dottorato è stato quello di sviluppare algoritmi di SDS basati su metodi di ML per classificare, in maniera robusta e affidabile, tessuti biologici a partire da immagini ottiche acquisite intraoperativamente. In particolare, i contributi di questo lavoro di dottorato sono: Sviluppo di un nuovo metodo (M1) per la selezione automatica di frame informativi da video di endoscopia. M1 sfrutta l’apprendimento supervisionato e un nuovo set di feature per identificare frame informativi, dai quali verranno classificati i tessuti di interesse. M1 sfrutta caratteristiche di intensitá e contenuto spaziale dell’immagine per classificare, con macchine a vettori di supporto (support vector machine, SVM) e secondo approcci a classi multiple, i frame endoscopici non informativi, sfocati, sottoesposti, e/o con riflessioni speculari o presenza di saliva. M1 é stato testato su un set bilanciato di 720 immagini estratte da 18 video laringoscopici in modalitá narrow band, ottenendo una sensitivitá del 91% per i frame informativi e superando gli approcci dello stato dell’arte (sensitivitá mediana = 57%, massima = 81%) con evidenza statistica. Sviluppo di un nuovo metodo (M2) per la classificazione di tessuti a partire da immagini endoscopiche che misura la confidenza di classificazione al fine di escludere risultati non affidabili incrementando l'accuratezza del risultato fornito ai chirurghi. Al fine di identificare tessuti patologici, M2 sfrutta informazioni di texture, approcci supervisionati e semi-supervisionati ed un metodo per la stima della confidenza sulla classificazione. M2 é stato testato su 33 video di laringoscopia in modalitá narrow band, registrati da 33 pazienti affetti da tumore laringeo in stadio iniziale, ottenendo una sensitivitá mediana del 93%. Il metodo è stato testato anche su immagini del distretto epatico, ottenendo una sensitivitá dell’82% nella classificazione di 40 immagini RGB acquisite in sala operatoria raffiguranti fegati di donatori sani e con steatosi epatica. Stimando la confidenza della classificazione ottenuta con le SVM, ed escludendo i risultati con bassa affidabilità, la sensitivitá é stata incrementata fino a raggiungere il 98% (tessuto laringeo) e l’86% (tessuto epatico). Sviluppo di un nuovo protocollo (M3) per l’analisi di immagini endoscopiche, che sfrutta l’imaging multispettrale (multispectral imaging, MI) per l’acquisizione di immagini durante procedure endoscopiche con l’obiettivo di eseguire classificazione dei tessuti ed tagging delle immagini in maniera robusta. M3 é un’estensione di M2 in cui, per la prima volta in letteratura, si studia l’acquisizione e l’analisi di immagini ottenute in vivo sfruttando il MI. I dati multispettrali sono stati acquisiti durante procedure laparoscopiche su 7 suini. Le SVM con approccio a classi multiple sono state utilizzate per classificare sei organi addominali (parete addominale, fegato, milza, cistifellea, diaframma e intestino). I risultati ottenuti con l’utilizzo delle immagini multispettrali hanno mostrato un aumento di accuratezza del 11% nella classificazione dei tessuti e del 23% nel tagging automatico delle immagini, rispetto all’utilizzo di immagini standard di tipo RGB. Inoltre, con l’utilizzo della misura di confidenza proposta in M2 é stato riscontrato un aumento dell’accuratezza della classificazione del 38% (RGB) e 20% (MI). Integrazione delle metodologie basate su tecniche di ML nell’ambito della SDS all’interno di un sistema di chirurgia robotica al fine di evitare tessuti critici durante procedure simulate di chirurgia robotizzata (M4). Con M4, la segmentazione di tessuti basata su tecniche di ML è stata integrata in uno scenario simulato di chirurgia assistita da robot, utilizzando un controllo di tipo virtual fixture per impedire l’interazione indesiderata tra tessuto e robot. In particolare, sono state costruite strutture vascolari fantoccio, successivamente segmentate in immagini di microscopia ottica utilizzando un approccio di apprendimento profondo (deep learning). Includendo il controllo, la distanza misurata fra la punta del robot ed il punto piú vicino sulla superficie vascolare (quando il robot entrava nella zona proibita (24% delle volte)) é stato trascurabile. Infatti, l’errore di penetrazione mediano misurato é stato di 17 μm, corrispondente a 2 ordini di grandezza in meno rispetto al diametro mediano dei vasi. Questa tesi di dottorato si colloca nel più ampio campo di ricerca della SDS, la quale mira a fornire ai chirurghi supporto decisionale e informazioni sul contesto chirurgico durante procedure di medicina interventistica. Nello specifico, le metodologie presentate in questa tesi di hanno dimostrato l’efficacia dell’uso di algoritmi di SDS basati sul ML per la classificazione intraoperatoria di tessuti in diversi distretti anatomici. I progressi metodologici compiuti in questo lavoro evidenziano il potenziale delle tecniche di SDS basate sul ML per l’estrazione di informazioni implicitamente contenute nelle immagini ottiche intraoperatorie, superando le sfide tipiche della classificazione tissutale in sala operatoria, con il fine di supportare i chirurghi durante le procedure di medicina interventistica.