Surgical data science for computer-aided surgery in fetoscopy

TWIN-TO-TWIN Transfusion Syndrome (TTTS) is a severe complication of monochorionic twin pregnancies caused by the abnormal distribution of pathological vessel connections (anastomoses) in the placenta vascular network. Selective fetoscopy laser photocoagulation is the elected treatment for TTTS. The selection of the vessels to be treated relies on the location of abnormal vascular formations at the small branches of normal blood vessels. The first step for the surgeon to find these abnormal vessels is a visual inspection of the entire fetal environment, most of the time randomly moving the fetoscope until they locate the inter-fetus membrane, which is used as a reference for the navigation of the vascular network. Despite all technological advancements in fetoscopy, residual anastomoses still represent an issue in TTTS surgery. Currently, computer-assisted intervention (CAI) and surgical data science (SDS) methodologies are actively exploited to attenuate this issue through fetoscopy image analysis, proving to be a valuable solution to support surgeons during all surgical phases providing context awareness and decision support. Deep learning is a major ally in tackling the variability of TTTS data in this context. However, the challenges of the fetal environment, and the limited amount of annotated data, strongly hamper the development of CAI/SDS applications for fetal surgery. On this background, this Ph.D. thesis aims to develop a framework of SDS algorithms based on intra-operative images to provide surgeons with context awareness and improved vision during TTTS. In particular, by defining new methods (M), the contributions of this Ph.D. work are: 1. Exploiting dense connectivity and parallel residual information pathways in a new deep-learning architecture (M1) can improve accuracy in placenta vessel segmentation. M1 exploits the impact of increasing the density of connections among convolutional layers increasing the performance and robustness, in terms of Intersection over Union (IoU), during automatic placenta vessel segmentation from intra-operative images on a comprehensive dataset with images from 18 TTTS patients. 2. A new method for automatic inter-fetal membrane segmentation (M2). M2 exploits a novel instance-normalized dense block, invariant to illumination changes, that extracts spatio-temporal features to enforce pixel connectivity in time and relies on adversarial training, which promotes shape-constraining. 3. A new learning-based approach for mosaicking from intra-operative images (M3). M3 exploits a self-supervised method for computing keypoints in intra-operative frames for intra-operative frame registration for mosaicking. To increase the robustness of the method, a dual filtering strategy for irrelevant keypoints and inconsistent homographies is introduced. 4. A new learning-based navigation approach that extends the work presented in M3 (M4). M4 extends the work in M3 by exploiting feature transformers for keypoints matching and refinement, occlusion detection and recovery. As part of this Ph.D. work, the grand challenge EndoVis FetReg was organised and presented at the International Conference on Medical Image Computing and Computer-Assisted Intervention (MICCAI) 2021 to promote research in the field of CAI/SDS applications for fetal surgery. In the framework of the FetReg Challenge, the first multi-centric and comprehensive dataset for benchmarking segmentation and mosaicking techniques. This Ph.D. thesis work lies in SDS’s wider research field, which aims to provide surgeons with decision support tools and context awareness during surgical procedures. The methodologies developed and presented in this Ph.D. thesis demonstrated the feasibility of using deep learning algorithms to support surgeons during TTTS surgery. The methodological progress made in this work highlights the potential benefit of novel deep learning strategies in tackling the challenges of intra-operative fetoscopic images to support surgeons during TTTS procedures and can positively impact CAI applications in other surgical fields, such as endoscopy, colonoscopy, or neurosurgery.

LA sindrome da trasfusione da gemello a gemello (TTTS) e una grave complicanza delle gravidanze gemellari monocoriali causata dalla distribuzione anomala di connessioni vascolari (anastomosi) nella rete vascolare della placenta. La fotocoagulazione laser selettiva di queste connessioni eseguita in fetoscopia e il trattamento d’elezione per la TTTS. L’identificazione dei vasi da trattare si basa sulla localizzazione delle anomalie vascolari che sono maggiormente presenti in corrispondenza delle piccole diramazioni dei vasi sanguigni. Il primo passo che il chirurgo deve compiere per individuare questi vasi anomali e l’ispezione visiva dell’intera superfice placentare. Questa avviene muovendo il fetoscopio, perlopiù in modo casuale, fino a localizzare la membrana interfetale, che viene utilizzata come riferimento durante la successiva fase di esplorazione della rete vascolare della placenta. Nonostante tutti i progressi tecnologici compiuti fino ad oggi nel campo della chirurgia fetale, il rischio di anastomosi residue durante gli interventi per TTTS, e quindi il fallimento della terapia, e ancora molto alto. Attualmente, le metodologie interventistiche assistite da computer (CAI) e delia surgical data science (SDS) sono esplorate in maniera sempre più estensiva, rivelandosi un utile strumento per fornire supporto decisionale durante tutte le fasi dell’intervento e comprensione della scena operatoria ai chirurghi, mediante l’analisi delle immagini fetoscopiche. Il deep learning e un alleato importante per affrontare la variabilità delle immagini intra-operatorie di TTTS. Tuttavia, la complessità dell’ambiente fetale e la quantità limitata di immagini annotate sono un forte ostacolo allo sviluppo di applicazioni CAI/SDS per la chirurgia fetale. Su tali considerazioni, questa tesi di dottorato ha come obiettivo l’esplorazione e lo sviluppo di algoritmi SDS per l’analisi di immagini intraoperatorie per supportare i chirurghi nella comprensione e fornendo una migliore visibilità della scena operatoria durante gli interventi di TTTS. In particolare, attraverso la definizione di nuovi metodi (M), i contributi di questo progetto di dottorato sono: 1. Una architettura di segmentazione con layer convoluzionali densamente connessi e percorso residuale parallelo (M1) per migliorare l’accuratezza nella segmentazione dei vasi sanguigni della placenta. M1 dimostra come l’aumento di densità, e percorsi paralleli tra blocchi di elaborazione nelle reti convoluzioni migliori l’accuratezza e robustezza, in termini di Intersection over Union (IoU), nella segmentazione automatica dei vasi placentari da immagini intraoperatorie. 2. Un nuovo metodo per la segmentazione automatica della membrana interfetale (M2). M2 propone un nuovo blocco denso invariante ai cambiamenti di illuminazione grazie alla presenza della instance normalization per l’estrazione di caratteristiche spazio-temporali per la segmentazione della membrana interfetale. Questa nuova architettura consente imporre la connettività tra pixel nel tempo, grazie alle caratteristiche spazio-temporali, e promuovere il mantenimento della forma, tramite l’addestramento avversario, per ottenere segmentazioni più omogenee e accurate. 3. Un nuovo approccio basato sull’apprendimento per l’espansione del campo di vista (mosaicking) operatorio tramite registrazione delle immagini intraoperatorie (M3). M3 propone un metodo auto-supervisionato per calcolare i punti chiave nei fotogrammi intra-operatori per la registrazione di immagini per estendere il campo di vista operatorio. Per aumentare la robustezza del metodo, la caratterizzazione semantica dei punti chiave e combinata con una doppia strategia di filtraggio per i punti chiave non rilevanti e le omografie inconsistenti. 4. Un nuovo algoritmo di navigazione basato sull’apprendimento che estende il lavoro presentato in M3 (M4). M4 estende il lavoro di M3 sfruttando i feature transformers per la stima della corrispondenza tra punti chiave tra coppie di fotogrammi, il successivo raffinamento degli stessi, il rilevamento e il recupero della registrazione in caso di occlusioni. Nell’ambito di questo progetto di dottorato, e stata organizzata e presentata la challenge EndoVis FetReg durante la Conferenza internazionale sul Medical Image Computing and Computer Assisted Intervention (MICCAI) 2021 per promuovere la ricerca nel campo delle applicazioni CAI/SDS per la chirurgia fetale. Con la FetReg Challenge, e stato realizzato e presentato il primo dataset multicentrico per il benchmarking delle tecniche di segmentazione e mosaicking. Questo lavoro di tesi di dottorato rientra nel più ampio campo di ricerca della SDS, che si pone l’obiettivo di fornire ai chirurghi strumenti di supporto decisionale e comprensione della scena chirurgica. Le metodologie sviluppate e presentate in questa tesi di dottorato hanno dimostrato la fattibilità dell’uso di algoritmi di deep learning per supportare i chirurghi durante gli interventi di TTTS. I progressi metodologici compiuti in questo lavoro evidenziano il potenziale vantaggio delle nuove strategie di deep learning nell’affrontare la complessità delle immagini fetoscopiche intraoperatorie acquisite durante interventi di TTTS e possono avere un impatto positivo nelle applicazioni CAI per altri campi chirurgici, come l’endoscopia o la neurochirurgia.