Learning based feature tracking for SLAM in colonoscopy

Colorectal cancer (CRC) has the third highest incidence of common cancers globally and the second highest mortality rate of cancer-related deaths worldwide. As a standard procedure, colonoscopy can decrease the incidence and mortality rates by early detection and removal of polyps. Despite its widespread use, complete colonoscopy is still challenging. Some regions of the colon are often not fully examined resulting in high polyp missing rates. In order to reduce the missed diagnosis rate of polyps during colonoscopy, AI-based methods were proposed to detect challenging polyps or segment occlusions. This thesis aims at giving surgeons 3D information in real-time through 3D model reconstruction where missing colon regions can be easily visualized in reconstructed surfaces thus give surgeons a more intuitive view of observation and help alert surgeons. Moreover, 3D reconstruction can also serve as an augmented reality, providing the possibility of training and improving the operator's proficiency. There are many building blocks in 3D reconstruction (e.g. depth estimation, feature tracking, pose estimation, triangulation, optimization). This thesis focuses on the feature tracking problem in colonoscopy scenarios. The self-supervised and weakly-supervised networks for feature extraction are firstly investigated under colonoscopy context and a more effective networks with better defined training loss function is proposed. Finally, a SLAM framework incorporating learning-based feature extraction is proposed for a more accurate estimation of colonoscope trajectories. The proposed networks outperforms handcraft and other learning-based feature extraction methods in pose estimation. The learning-based SLAM also estimates more accurate trajectory in scene with relatively small viewpoint changes.

Il cancro colorettale (CRC) rappresenta il terzo tumore più frequente a livello globale ed è lab seconda causa di morte per cancro. La rilevazione e la rimozione precoce di polipi in colonoscopia è la procedura standard che ha consentito di ridurre l'incidenza e la mortalità del CRC. Nonostante i progressi introdotti da questa procedura, esplorare interamente il colon ad oggi è ancora complesso. A causa della sua conformazione, alcune regioni non sono completamente esplorate aumentando il rischio di non identificare polipi potenzialmente pericolosi. Al fine di ridurre il tasso di diagnosi mancate dei polipi durante la colonscopia, sono stati proposti metodi basati sull'intelligenza artificiale per rilevare polipi difficili o segmentare occlusioni. Questa tesi mira a fornire ai chirurghi informazioni tridimensionali in tempo reale attraverso la ricostruzione di modelli 3D, dove le regioni mancanti del colon possono essere facilmente visualizzate nelle superfici ricostruite, dando così ai chirurghi una visione più intuitiva dell'osservazione e aiutandoli a essere più allertati. Inoltre, la ricostruzione 3D può anche servire come realtà aumentata, offrendo la possibilità di addestramento e miglioramento della competenza dell'operatore. Ci sono molti elementi costitutivi nella ricostruzione 3D (ad es. stima della profondità, tracciamento delle caratteristiche, stima della posa, triangolazione, ottimizzazione). Questa tesi si concentra sul problema del tracciamento delle caratteristiche negli scenari di colonscopia. Le reti auto-supervisionate e debolmente supervisionate per l'estrazione delle caratteristiche sono state prima esaminate nel contesto della colonscopia e viene proposta una rete più efficace con una funzione di perdita di addestramento meglio definita. Infine, viene proposto un framework SLAM che incorpora l'estrazione delle caratteristiche basata sull'apprendimento per una stima più accurata delle traiettorie del colonoscopio. Le reti proposte superano i metodi di estrazione delle caratteristiche manuali e altri metodi di estrazione delle caratteristiche basati sull'apprendimento nella stima della posa. Il SLAM basato sull'apprendimento stima inoltre una traiettoria più accurata in scene con cambiamenti di punto di vista relativamente piccoli.