Inter-foetus membrane segmentation for TTTS-treatment guidance using adversarial networks

Twin-to-Twin Transfusion Syndrome (TTTS) is a rare pathology with deadly consequences that can occur in the case of monochorionic twin homozygous pregnancy. The aetiology of TTTS is correlated to the anomalous presence of unidirectional inter-placental anastomoses which cause an imbalance in the blood flow between the foetuses. Without any treatment, the risk of perinatal mortality of one or both foetuses can exceed 90%, with an incidence of physical or neurological complications in 50% of the surviving foetuses. It is well known from the medical literature that the preferred treatment for TTTS, for foetal survival rate and comorbidity in the mother, is the laser selective vessels photocoagulation performed in fetoscopy. During the surgery, the surgeon explores the entire vascular network of the placenta to identify the vessels to be treated, identifying the inter-foetal membrane as a reference for orientation during navigation. Membrane identification is a non-trivial task even for the experienced surgeon caused by: • Complexity in the acquisition of in-vivo images (i.e. limited field of view, the positioning of the fetoscope unfavourable in respect to the membrane); • Reduced image quality (i.e. noise, variation in illumination levels, specularities); • The complexity of the treated anatomical district (turbidity of amniotic fluid, high inter- and intra-patient variability, foetal movements); Recent developments in the field of deep learning techniques for the analysis of medical images have shown that algorithms based on convolutional neural networks (CNN) can prove to be valid tools to address these problems. However, none of these algorithms has been applied for in-vivo fetoscopic image analysis or intra-operative support for TTTS surgery. Given the absence of contributions, it was not possible to find any appropriate dataset to investigate these methods. Thanks to the support of the surgery team of the Department of Foetal and Perinatal Medicine of the Istituto Giannina Gaslini in Genova (Italy), one of the leading centres in Italy for TTTS surgical treatment, the first dataset for the segmentation of the inter-foetal membrane containing images from TTTS surgery video annotated with the support of an expert clinician was created. The dataset employed is composed of 900 frames extracted from six intra-operative videos of TTTS surgery. From each video, the frames were selected in order to capture the broadest possible variability of the surgical site (i.e. presence of lasers, different levels of illumination and contrast, the presence of particulate matter, etc.). To optimise the resources used during the training phase, only the central portion of the field of view was extracted from each frame, which appears to be the most salient area for the surgeon. Two versions of the dataset have been realised, one in grey-scale and one in RGB, to evaluate whether the examined architectures could produce better segmentations thanks to colour-related features. 600 frames were used as training set, 150 frames as validation set and 150 frames as the test set. For this type of study, formal consent is not required. No animals or humans were involved in this research. All videos were anonymised before delivery to the authors of this thesis work. To ensure that the dataset is appropriately sized for training, training and validation set has been increased by generating additional images (data augmentation) from the rotation of each frame for defined angles (45 , 90 , 180 , 270 ) to simulate the possible fetoscope rotations during surgery. A novel architecture inspired by the model of generative adversarial networks (GANs) was investigated in order to increase the segmentation accuracy that can be obtained from the state of the art. An in-depth study of this architecture has also led us to the definition of an advanced multi-scale cost function that allows the network to evaluate the quality of the segmentation produced from local and global characteristics and on long and short-range relationships between the pixels. The new cost function, in conjunction with the alternating training of the segmentation network and the critic network (adversarial training strategy), allowed to obtain a more robust architecture by improving the accuracy even in the most challenging images. The proposed architecture has been tested on the images of the test set. The performances were measured and then compared with state of the art through three metrics for the evaluation of segmentation algorithms: Dice Similarity Coefficient (DSC), precision and sensitivity (also known as recall). The results presented in this work have shown that adversarial networks can exceed the performances obtained from state of the art, obtaining higher values of Dice Similarity Coefficient (DSC) and therefore a better segmentation compared to U-Net and U-Net + Skip Connections. The median DSC values for U-Net, U-Net + Skip Connections and the proposed adversarial architecture trained with grey-scale datasets are 80.73%, 82.70% and 86.20% respectively with an inter-quartile range (IQR) of 15.60%, 13.59% and 6.57%. Using the RGB dataset, a further improvement is obtained as shown by the median DSC values for U-Net, U-Net + Skip Connections and the proposed adversarial architecture of 83.07%, 86.46% and 91.83% with an IQR of 14.12%, 13.36% and 4.55%. Although the best results were obtained using the RGB dataset, the Wilcoxon sign rank test (significance level equal to 5%) confirms the presence of significant statistical differences in the results obtained with the proposed architecture, independently of the type of dataset used. This is, as far as we know, the first study to investigate the problem of inter-foetal membrane segmentation from intra-operative images of TTTS surgery. From this thesis work, the first dataset of foetal surgery TTTS images was realised together with a new segmentation approach based on adversarial networks based on a new multi-scale cost function. These promising results are only the first step towards the development of a computerassisted TTTS surgery system.

La sindrome da trasfusione feto-fetale (TTTS, acronimo in lingua inglese per Twinto- Twin Transfusion Syndrome) è una rara patologia con conseguenze mortali che può verificarsi in caso di gravidanza gemellare omozigote monocoriale. L’eziologia della TTTS è correlata alla presenza anomala di anastomosi inter-placentari unidirezionali che causano uno scompenso nel flusso sanguigno tra i feti. Se non trattata, il rischio di mortalità perinatale di uno o entrambe i feti può superare il 90%, con una incidenza di complicanze fisiche o neurologiche nel 50% dei feti sopravvissuti. È ben noto dalla letteratura medica che il trattamento preferito per la TTTS, per tasso di sopravvivenza dei feti e comorbidità nella madre, sia la fotocoagulazione selettiva dei vasi tramite laser effettuata in fetoscopia. Durante l’intervento, il chirurgo esplora l’intera rete vascolare della placenta per identificare i vasi da trattare identificando la membrana inter-fetale come riferimento per orientarsi durante la navigazione. L’identificazione della membrana è un task non banale anche per il chirurgo esperto causate da: • Complessità nell’acquisizione di immagini in-vivo (es. campo di vista limitato, posizionamento della camera sfavorevole rispetto alla membrana) • Qualità ridotta dell’immagine (es. rumore, variazione dei livelli di illuminazione, riflessi speculari) • Complessità del distretto anatomico trattato (torbidezza del fluido amniotico, alta variabilità inter- e intra-paziente, movimenti dei feti) I recenti sviluppi nel campo delle tecniche di deep learning per l’analisi di immagini mediche hanno evidenziato che algoritmi basati su reti neurali convoluzionali (CNN) possano rivelarsi validi strumenti per affrontare tali problematiche, ad ogni modo nessuno di questi algoritmi è stato applicato per l’analisi di immagini fetoscopiche in-vivo o per il supporto intra-operatorio alla chirurgia per TTTS. Data l’assenza di contributi, non è stato possibile reperire alcun dataset appropriato per investigare tali metodi. Grazie al supporto del team di chirurgia del Dipartimento di Medicina Fetale e Perinatale dell’Istituto Giannina Gaslini di Genova, uno dei principali centri in Italia per il trattamento chirurgico della TTTS, è stato realizzato il primo dataset per la segmentazione della membrana inter-fetale da immagini estratte da video di interventi di chirurgia per la TTTS annotate con il supporto di un clinico esperto. Il dataset è composto da 900 fotogrammi estratti dalle registrazioni di sei interventi chirurgici per TTTS. Da ogni video, sono stati selezionati i frame in modo da cogliere la più ampia variabilità possibile del sito chirurgico (es. presenza di laser, diversi livelli di illuminazione e contrasto, presenza di particolato, ecc..). Per ottimizzare le risorse utilizzate durante la fase di training, da ogni frame è stata estratta solo la porzione centrale del campo di vista che risulta essere la zona più saliente per il chirurgo. Sono state realizzate due versioni del dataset, una in scala di grigio ed una a colori (RGB), per valutare se le architetture esaminate potessero produrre segmentazioni migliori grazie alle features correlate al colore. 600 frame sono stati utilizzati come training set, 150 frame come validation set e 150 frame come test set. Per questo tipo di studio, il consenso formale non è richiesto. Nessun animale o essere umano è stato coinvolto in questa ricerca. Tutti i video sono stati resi anonimi prima di essere stati acquisiti dagli autori di questo lavoro di tesi. Per garantire che il dataset sia di dimensioni appropriate per il training, esso è stato incrementato generando ulteriori immagini (data augmentation) dalla rotazione di ogni frame per angoli definiti (45 , 90 , 180 , 270 ) così da simulare possibili rotazioni del fetoscopio durante l’intervento. Un’architettura innovativa ispirata al modello delle reti avversarie generative (GANs, acronimo inglese di Generativa Adversarial Networks) è stata investigata con lo scopo di incrementare l’accuratezza di segmentazione che è possibile ottenere dallo stato dell’arte. Uno studio approfondito di questa architettura ci ha inoltre condotto alla definizione di una avanzata funzione di costo multi-scala che consenta alla rete di valutare la qualità della segmentazione prodotta sulla base di caratteristiche locali e globali e sulle relazioni a lungo e corto raggio tra i pixel. La nuova funzione di costo congiuntamente alla strategia di addestramento alternato (avversario), ha permesso di ottenere una rete più robusta migliorando l’accuratezza anche per le immagini più complesse. L’architettura proposta è stata testata sulle immagini del test set. Le performance sono state misurate e poi confrontate con lo stato dell’arte tramite tre metriche per la valutazione di algoritmi di segmentazione: Dice Similarity Coefficient (DSC), precisione e sensitività (detta anche Recall). I risultati presentati in questo lavoro hanno evidenziato che le reti avversarie possono superare le performance ottenute dallo stato dell’arte, ottenendo valori maggiori di Dice Similarity Coefficient (DSC) e quindi una migliore segmentazione rispetto ad U-Net e U-Net + Skip Connections. I valori mediani di DSC per U-Net, U-Net + Skip Connections e l’architettura avversaria proposta addestrate con dataset in scala di grigio sono rispettivamente 80.73%, 82.70% e 86.20% con un range interquartile (IQR) di 15.60%, 13.59% e 6.57%. Utilizzando il dataset RGB si ottiene un ulteriore miglioramento come illustrato dai valori mediani di DSC per U-Net, U-Net + Skip Connections e l’architettura avversaria proposta di 83.07%, 86.46% e 91.83% con un range interquartile di 14.12%, 13.36% e 4.55%. Anche se i risultati migliori sono stati ottenuti utilizzando un dataset RGB, il test dei ranghi col segno di Wilcoxon (livello di significatività pari al 5%) conferma la presenza di differenze statistiche significative nei risultati ottenuti con l’architettura proposta, indipendente dal tipo di dataset utilizzato. Questo è, per quanto ne sappiamo, il primo studio che investighi il problema della segmentazione della membrana inter-fetale da immagini intra-operatorie di chirurgia per TTTS. Da questo lavoro di tesi, è stato realizzato un primo dataset di immagini fetoscopiche da chirurgia TTTS insieme ad un nuovo approccio di segmentazione basato sulle reti avversarie basato su una nuova funzione di costo multi-scala. Questi promettenti risultati sono solo il primo passo verso lo sviluppo di un sistema di chirurgia assista da computer per la TTTS.