Fetoscopic video mosaicking via siamese network for field-of-view expansion

In the last years, thanks to the development of technologies more and more advanced, laser photocoagulation is more practiced, especially in ophthalmology. Recently, this technique is also starting to spread in the field of fetal surgery because it offers several advantages if combined with the usage of an instrument like the fetoscope. Low inva- siveness is an ideal condition to perform interventions in such a delicate environment as the placenta. Furthermore, recovery time is fast, risks associated with postopera- tive traumas, and the number of scars are low. However, surgeons accomplishing fetal surgeries with this system still have to face many challenges related to critical issues related to the visual field as a reduced field of view and, occasionally, with the presence of occlusions, reduced brightness, the turbidity of the amniotic fluid, presence of resid- uals, etc. Consequently, the risk of damage to the fetus and the risk of failure of the interventions are complications that bring surgeons to desist from performing surgery with this system. These aspects highlight the necessity to introduce computer vision algorithms supporting surgeons during this kind of operation, thus reducing possible complications and minimizing, at the same time, their mental workload. The project thesis aims to provide an algorithm for expanding the visual field from the small FoV of the fetoscope to a large portion of the placenta explored by the surgeon. This algo- rithm is designed to assist surgeons in treating a pathology characterized by vascular structures that alter the normal blood supply, improving the quality of the intervention by helping in the detection of pathological vascular connections with higher accuracy. The most recent state-of-the-art studies on image mosaicking in the context of fetal surgery identify deep learning-based methods as the most successful ones in accom- plishing this task in terms of speed and accuracy. Since this research field is relatively new, there is a general lack of image mosaicking apporaches with in-vivo fetoscopic images. For this reason, the purpose of this thesis is to exploit the potentiality of the latest deep-learning techniques, such as Convolutional Neural Networks (CNNs), to provide an automatic and robust field of view expansion with fetoscopic images, con- tributing to filling this state-of-the-art gap. Specifically, an innovative siamese neural network (SiameseNet) to estimate homographies necessary to create a panorama of the placenta is presented. The implementation of a siamese network allows to simul- taneously exploit the information encoded in consecutive frames of a fetoscopic video sequence. A dataset of 950 frames from in-vivo fetoscopic videos of 6 different patients pro- vided by University College London (UCL) was used. Then, an ad hoc algorithm was implemented to generate the dataset which feed the developed network. The latter was trained on ∼ 95% of the whole dataset, validated and tested on ∼ 13% of the remaining. During training and validation phases, on-the-fly data augmentation was done. The performances of the proposed SiameseNet were evaluated in comparison with one state-of-the-art architecture: HomographyNet. The results shown that the SiameseNet outperformed the state-of-the-art model, obtaining lower values of RM SE, calculated on estimated and ground-truth homogra- phies, and, therefore, a more accurate mosaic. In detail, the median RM SE value for the HomographyNet and SiameseNet was 47.60% and 48.39%, with Inter-Quartile Range (IQR) of 7.10% and 5.31%, respectively. The Wilcoxon Signed Rank Test (sig- nificance level α equal to 5%) confirmed a significant statistical difference between the tested architectures. Results achieved suggested that the inclusion of a convolutional network in an architecture capable of process multiple images simultaneously upstream of the network for homography estimation can be successfully exploited to increase the capability to create better mosaics, managing in a better way some critical issues such as low image quality, low light exposure, and turbidity due to the amniotic fluid. Although a protocol for implementing convolutional networks for the homography estimation needed in the mosaic’s generation process with fetoscopic images have been already presented, this work represents an attempt to improve the existing models with the utilization of a model with a novel architecture.

Negli ultimi anni, grazie allo sviluppo di tecnologie sempre più avanzate, la foto- coagulazione laser è stata sempre più praticata, in particolare nell’ambito della oftal- mologia. Più recentemente, questa tecnica sta iniziando a diffondersi anche nel campo della chirurgia fetale in quanto offre diversi vantaggi se combinata con uno strumento clinico quale l’endoscopio. La bassa invasività è ideale per poter eseguire interventi in un ambiente delicato come la placenta, oltretutto i tempi di recupero sono rapidi , il rischio di traumi post-operatori e il numero di cicatrici son bassi. Tuttavia, i chirurghi che realizzano interventi di chirurgia fetale con tale sistema devono ancora affrontare molte sfide legate alle criticità dello scenario visivo in ter- mini di campo visivo ridotto e, occasionalmente, in presenza di occlusioni, di ridotta luminosità, di torbidità del fluido amniotico, presenza di residui, etc. Conseguente- mente, il rischio di lesioni per il feto e il rischio di fallimento dell’operazione sono complicazioni che portano i chirurghi a desistere dall’effettuare l’intervento con questo sistema. Questi aspetti evidenziano la necessità di introdurre algoritmi di visione artif- icale a supporto dei chirurghi durante questo tipo di operazione, riducendo in tal modo possibili complicanze post-operatorie e minimizzando, allo stesso tempo, il loro carico di lavoro mentale. In tale contesto si inserisce questo progetto di tesi, il cui scopo è quello di fornire un algoritmo per l’espansione del campo visivo di tutta l’area della placenta che viene esplorata dal chirurgo al fine di migliorare la qualità degli interventi, supportando quest’ultimo nell’individuazione di strutture vascolari d’interesse con maggiore accu- ratezza. Gli studi più recenti riguardanti l’espansione del campo visivo nell’ambito della chirurgia fetale identificano i metodi basati sul deep learning come quelli di maggior successo nel portare a termine questo compito, in quanto a velocità e accuratezza. Essendo questo un campo di ricerca relativamente nuovo, vi è ancora una generale mancanza di lavori riguardanti l’ambito fetale. Per questa ragione, lo scopo di questo progetto di tesi è quello di sfruttare le potenzialità delle più recenti tecniche di deep- learning, come le reti neurali convoluzionali (CNN), per fornire un processo automatico e robusto di espansione del campo visivo nelle immagini di fetoscopia, contribuendo a riempire tale lacuna nello stato dell’arte. In particolare, viene qui proposta un’innovativa rete neurale siamese (SiameseNet) per la creazione automatica di un panorama della placenta. L’implementazione di una rete siamese consente di sfruttare in contemporanea l’informazione contenuta in frame consecutivi di sequenze video di fetoscopia. A causa della ridotta disponibilità di dati,è stato utilizzato un set di 950 frame da video di fetoscopia di 6 pazienti diversi fornito dall’University College London (UCL). Quindi, è stato implementato un algoritmo ad hoc per generare il set di dati da fornire in input alla rete sviluppata. Quest’ultima è stata addestrata sul ∼ 95% dell’intero dataset, convalidata e testata sul restante ∼ 5%. Durante la fase di ad- destramento e validazione è stato fatto un aumento dei dati on-the-fly. Le prestazioni della SiameseNet proposta sono state valutate rispetto ad una ar- chitettura appartenente allo stesso stato dell’arte: l’ HomographyNet. I risultati hanno mostrato che la SiameseNet ha avuto performance significativa- mente superiori rispetto all’altro modello analizzato, ottenendo valori più bassi del errore medio (RM SE e M AE) e, di conseguenza, un mosaico più accurato. Nel det- taglio, il valore mediano dell’ RM SE per l’HomographyNet e la SiameseNet è stato di 47.60% e 48.39%, con intervallo inter-quartile (IQR) di 7.10% e 5.31%, rispettiva- mente. Il test di valutazione di Wilcoxon ha confermato, con livello di significatività α pari al 5%, che esiste una differenza statistica significativa tra le architetture testate. I risultati ottenuti hanno suggerito che l’inclusione di una rete di convoluzione in un’architettura in grado di processare più immagini contemporaneamente a monte della rete di stima delle omografie può essere sfruttata con successo per aumentare le capacità di creare mosaici, gestendo in maniera più efficiente alcune criticità quali la bassa qualtà dell’immagine, la bassa esposizione alla luce e la torbidità del fluido amniotico. Sebbene un protocollo per l’utilizzo di reti convoluzionali per la stima di omografie necessarie per la creazione di mosaici con l’utilizzo di immagini di fetoscopia sia già stato presentato, questo lavoro di tesi rappresenta un tentativo di miglioramento dei modelli esistenti con l’utilizzo di un modello con un’architettura innovativa.