WAY-Net : a weak multi-task learning framework for automatic anastomoses detection in fetal surgery

In Twin-to-Twin Transfusion Syndrome (TTTS), abnormal vascular anastomoses in the monochorionic placenta can produce uneven blood flow between the fetuses. In the current practice, this syndrome is surgically treated by fetoscopic laser photo-coagulation, which aims to close the abnormal connections using laser ablation. Limited field of view, low fetoscopic image quality, high inter-subject variability and lack of anatomical landmarks to distinguish anastomoses make their identification a complex task. To tackle these challenges, we present a new deep-learning framework for pathological anastomoses detection on in-vivo fetoscopic videos. The lack of available datasets for this task, leads us to investigate weakly supervised learning techniques, which have recently attracted attention as they only needs image-level labels. The proposed model, WAY-Net, is end-to-end trained in a multi-task learning strategy, by combining binary global classification, which assess the presence of pathological vessels, and the information coming from public available vessel segmentation annotations. Detection is implemented with Pyramid Grad-CAM (PG-CAM) algorithm from eXplainable Artificial Intelligence (XAI). The framework is able to outputs three different predictions: the vessel segmentation mask, the classification label and the bounding box surrounding the anastomosis. The model was compared with different architectures (i.e., ResNet, UNet, DenseNet) using different learning strategies and different XAI methods. Experiments were performed on 18 videos (1476 frames), from three different fetal surgery centres. WAY-Net achieves an accuracy of 0.9668, a recall of 0.9906 and a precision of 0.9292 in classification and reaches a mean Intersection over Union of 0.2206. The proposed framework obtained promising results to positively impact the actual surgical practice for TTTS treatment, potentially lower the duration of the surgeries and the risk of surgical failures.

Nella Sindrome da Trasfusione Feto-Fetale (TTTS), anomale anastomosi vascolari nella placenta monocoriale possono produrre uno sbilanciamento del flusso sanguigno tra i due feti. Attualmente, questa sindrome è trattata chirurgicamente tramite foto-coagulazione laser, che mira ad interrompere i collegamenti anomali tra i vasi. Campo di vista limitato, bassa qualità delle immagini fetoscopiche, alta variabilità tra i soggetti e mancanza di punti di riferimenti anatomici per distinguere le anastomosi, rendono la loro identificazione, un obiettivo complesso. Per superare queste sfide, presentiamo una nuova architettura basata sul deep learning per la localizzazione delle anastomosi patologiche in video fetoscopici in-vivo. L’assenza di dataset disponibili per questo scopo, ha portato ad analizzare algoritmi di supervisione debole, che sono di interesse in quanto richiedono solo le labels a livello di immagine. L’architettura proposta, WAY-Net, è stata allenata end-to-end con una strategia multi-task, combinando classificazione binaria globale, che indica la presenza o meno dei vasi patologici, e l’informazione proveniente dalle annotazioni della segmentazione dei vasi, pubblicamente disponibili. La localizzazione è implementata con Pyramid Grad-CAM (PG-CAM), un algoritmo di intelligenza artificiale explainable (XAI). Il modello restituisce in uscita tre predizioni: la maschera di segmentazione dei vasi, la probabilità di classificazione, le bounding box che circondano le anastomosi. Il modello proposto è stato confrontato con diverse architetture (i.e., ResNet, UNet, DenseNet), utilizzando diverse strategie di apprendimento e di metodi di XAI. Gli esperimenti sono stati eseguiti su 18 video (1476 immagini), provenienti da tre diversi centri di chirurgia fetale. WAY-Net raggiunge un’accuratezza di 0.9668, una sensibilità di 0.9906 e una precisione di 0.9292 in classificazione e raggiunge un Intersection over Union di 0.2206. L’architettura proposta ha ottenuto risultati promettenti per migliorare la pratica chirurgica attuale per il trattamento della TTTS, riducendo potenzialmente la durata e il rischio di fallimento dell’intervento.