Optical Flow for field-of-view expansion in fetoscopic surgery: a Benchmark study.

The 10-15% of monochorionic diamniotic pregnancies are affected by Twin-to-twin transfusion syndrome (TTTS). The TTTS is a serious condition caused by the presence of pathological anastomoses connecting the fetuses circulations producing an unbalanced blood flow. Without any treatment the risk of perinatal mortality can exceed the 90% of one or both fetuses. The more effective treatment option is fetoscopic laser photocoagulation of the abnormal vascular connections. This procedure is challenging due to low image quality, limited Field of View (FoV), presence of turbid amniotic fluid, large illumination variability, occlusions, fetal and maternal movements. To overcome the described limitations, this thesis proposes a learning based framework for placental mosaicking from intra-operative videos in an end-to-end fashion. Movement informations are extracted through CNN architectures for regression and are used to obtain the transformation matrices needed to perform images stiching. In particular, this thesis perform a benchmark study on different optical flow architecture. Experiments were conducted on videos from two different fetal surgery centres. The proposed work is the first one that perform the evaluation on 24 video clips using optical flow to mosaicking reconstruction during TTTS treatment.

Il 10-15% delle gravidanze diamniotiche monocoriali sono affette dalla sindrome da trasfusione feto fetale (TTTS). La TTTS è una condizione grave causata dalla presenza di anastomosi patologiche che connettono i flussi sanguigni producendo uno squilibrio nell’afflusso ematico dei feti. Senza alcun trattamento il rischio di mortalità perinatale può superare il 90% di uno o entrambi i feti. L’opzione terapeutica più efficace è la fotocoagulazione laser selettiva fetoscopica delle connessioni vascolari anomale. Questa procedura è complessa a causa di bassa qualità dell’immagine, campo visivo (FoV) limitato, presenza di liquido amniotico torbido, ampia variabilità dell’illuminazione, occlusioni, movimenti fetali e materni. Per superare le limitazioni descritte, questa tesi propone un approccio learning base per la ricostruzione del panorama placentare a partire da video intraoperatori in modo end-to-end. Le informazioni di movimento vengono estratte attraverso architetture CNN di regressione e vengono utilizzate per ottenere le matrici di trasformazione necessarie per eseguire lo stitching delle immagini. In particolare questa tesi svolge un studio di riferimento su diverse architetture di flusso ottico. Gli esperimenti sono stati condotti su video provenienti da due diversi centri di chirurgia fetale. Il metodo proposto è il primo che effetua la valutazione dell’utilizzo del flusso ottico per ricostruire il panorama durante il trattamento TTTS su 24 video intra operativi.