Enhancing spatial understanding in endoscopy: from lesion size estimation to 3D reconstruction

Endoscopy represents a fundamental tool for the diagnosis and treatment of a wide range of diseases, particularly for gastrointestinal cancer screening and prevention. Despite its clinical relevance and widespread adoption, standard endoscopic practice remains inherently limited by the use of monocular imaging, which provides only two-dimensional visual information and requires the endoscopist to infer spatial and metric properties of the scene indirectly. As a consequence, critical aspects such as lesion size estimation, depth perception, and global spatial awareness remain challenging and strongly operator-dependent, ultimately affecting diagnostic accuracy, procedural quality, and reproducibility. Within this context, this thesis investigates computational approaches to enhance spatial understanding and quantitative analysis in endoscopy, to improve lesion assessment and mucosal visualization. The contributions of this work can be summarized as follows. (i) Depth-enhanced geometric reconstruction for polyp size estimation. A novel framework is proposed to address the problem of polyp sizing in colonoscopy, reformulated as a multi-view geometric reconstruction task leveraging endoscope localization. The method integrates pose-aware triangulation with a depth-enhanced correction strategy designed to compensate for reconstruction instability under limited baseline conditions. The approach is validated in a realistic experimental setup using a robotic endoscope and anatomically plausible colon phantoms, including polyps of varying shapes and sizes. Quantitative results demonstrate a significant improvement over state-of-the-art methods, with an average accuracy increase of 26.72\% and a reduction of the mean absolute error from 4.79 mm to 1.64 mm. These findings highlight the importance of combining geometric modeling with depth-related priors to achieve reliable metric estimation in constrained endoscopic environments. (ii) RealSynCol: a high-fidelity synthetic dataset for endoscopic 3D reconstruction. To address the lack of annotated data for training and evaluating learning-based approaches, a high-fidelity synthetic dataset is introduced. The dataset is generated from real colon CT scans and includes 28130 frames across 20 sequences derived from 10 anatomically realistic colon models. Each frame is paired with dense ground-truth annotations, including depth maps, optical flow, camera intrinsics, and full trajectory information. The dataset replicates clinically realistic conditions in terms of anatomical variability, endoscopic motion, and visual appearance (e.g., artefacts and specular reflections). Motion analysis demonstrates realistic endoscopic displacements comparable to clinical phantom acquisitions (0.90 mm vs 0.81 mm median inter-frame motion). Experimental validation further shows improved cross-dataset generalization and reduced depth and pose estimation errors compared to existing synthetic colonoscopy datasets. (iii) Deep-learning-based localization and mapping for monocular endoscopy. A deep-learning-based localization and mapping framework is proposed to recover consistent three-dimensional representations of the colon from monocular endoscopic video. The approach integrates feature extraction, pose estimation, and scale correction within a unified pipeline, explicitly designed for challenging endoscopic conditions such as low texture, specular reflections, and long trajectories. Experimental validation on 20 full-length colonoscopy trajectories demonstrates improved robustness and reconstruction accuracy compared to existing approaches. The proposed method achieves point-to-surface reconstruction errors as low as 0.98 mm and consistently reconstructs complete trajectories even in acquisition settings where competing methods frequently fail or produce sparse reconstructions. (iv) Physically-based reconstruction and tracking using Gaussian Splatting. A novel reconstruction and tracking framework is introduced based on Gaussian Splatting, jointly modeling geometry, appearance, and illumination. By incorporating physically-based rendering and surface-aligned Gaussian primitives, the method enables high-quality reconstruction and stable tracking in complex endoscopic scenes. Quantitative evaluation demonstrates substantial improvements over existing online Gaussian-based methods, including gains of up to 6.9 dB in PSNR and 0.15 in SSIM, together with LPIPS reductions of up to 0.13 on challenging endoscopic datasets. The framework also achieves robust tracking accuracy, with translational errors below 1 mm on C3VD sequences. Overall, the results of this thesis suggest that improving endoscopic perception requires the integration of geometric modeling, data-driven approaches, and realistic data generation. The proposed contributions address key limitations of current endoscopic practice, providing novel methodologies for quantitative lesion analysis and spatial understanding. By enabling more accurate measurements and more complete visualization of the mucosa, this work contributes toward the development of computer-assisted endoscopic systems aimed at improving diagnostic reliability and procedural quality.

L’endoscopia rappresenta uno strumento fondamentale per la diagnosi e il trattamento di diverse patologie, in particolare nell’ambito della prevenzione e dello screening dei tumori gastrointestinali. Nonostante la sua rilevanza clinica e la sua diffusione, la pratica endoscopica rimane limitata dall’uso di sistemi di imaging monoculare, che richiedono all’endoscopista di inferire indirettamente le proprietà spaziali e metriche della scena. Di conseguenza, aspetti critici quali la misurazione delle lesioni, la percezione della profondità e la consapevolezza spaziale risultano complessi e dipendenti dall’operatore, influenzando l’accuratezza diagnostica, la qualità procedurale e la riproducibilità. Questa tesi ha l'obiettivo di investigare approcci per migliorare comprensione spaziale e analisi quantitativa in endoscopia, per ottimizzare la valutazione delle lesioni e la visualizzazione della mucosa. I contributi della tesi possono essere riassunti come segue. (i) Ricostruzione geometrica con correzione di profondità per la stima delle dimensioni dei polipi. Viene proposto un nuovo framework per la stima delle dimensioni dei polipi in colonscopia, riformulato come un problema di ricostruzione geometrica multi-vista che sfrutta la localizzazione dell’endoscopio. Il metodo integra una triangolazione con posa nota con una strategia di correzione basata sulla profondità, progettata per compensare eventuali instabilità nella ricostruzione. L’approccio è stato validato in un setup sperimentale realistico utilizzando un endoscopio robotico,fantocci di colon, e polipi di forme e dimensioni differenti. I risultati quantitativi mostrano un miglioramento significativo rispetto allo stato dell’arte, con un incremento medio dell’accuratezza del 26.72\% e una riduzione dell’errore assoluto medio da 4.79 mm a 1.64 mm. Tali risultati evidenziano l’importanza di combinare modellazione geometrica e informazioni di profondità per ottenere stime metriche affidabili nell'ambiente endoscopico. (ii) RealSynCol: un dataset sintetico realistico per la ricostruzione 3D in endoscopia. Per affrontare la carenza di dati annotati necessari per addestrare e validare gli approcci learning-based, viene introdotto Realsyncol, un dataset sintetico realistico. Il dataset è generato a partire da scansioni TC di colon e comprende 28130 frame e 20 sequenze, derivate da 10 modelli anatomici. Ogni frame è corredato da mappa di profondità, flusso ottico, parametri intrinseci della camera e traiettoria. Il dataset riproduce condizioni cliniche realistiche in termini di variabilità anatomica, movimento dell'endoscopio e aspetto visivo (come artefatti e riflessi). RealSynCol riproduce spostamenti endoscopici realistici, comparabili a quelli osservati in acquisizioni su fantocci (0.90 mm contro 0.81 mm di spostamento mediano tra frame consecutivi). La validazione sperimentale evidenzia inoltre una capacità migliore di generalizzazione cross-dataset e una riduzione degli errori di stima di profondità e posa rispetto ai dataset sintetici disponibili. (iii) Localizzazione e mappatura deep-learning-based per endoscopia monoculare. Viene proposto un framework deep-learning-based di localizzazione e mappatura per ricostruire modelli tridimensionali del colon a partire da video endoscopici monoculari. L’approccio integra estrazione di feature, stima della posa e correzione della scala, ed è progettato per affrontare condizioni endoscopiche complesse, quali texture poco visibile, riflessi e traiettorie ampie. La validazione sperimentale condotta su 20 traiettorie complete di colonscopia dimostra una maggiore robustezza e accuratezza di ricostruzione rispetto agli approcci esistenti. Il metodo proposto raggiunge errori di ricostruzione fino a 0.98 mm e consente la ricostruzione completa delle traiettorie anche nei casi in cui i metodi concorrenti falliscono frequentemente o producono ricostruzioni molto sparse. (iv) Ricostruzione e tracking mediante Gaussian Splatting. Viene introdotto un nuovo framework per la ricostruzione e il tracking basato su Gaussian Splatting, che modella congiuntamente geometria, aspetto e illuminazione. Integrando rendering delle proprietà fisiche della luce e gaussiane allineate alla superficie, il metodo consente ricostruzioni di elevata qualità e tracking stabile in scenari endoscopici complessi. I risultati mostrano miglioramenti sostanziali rispetto agli approcci online in letteratura, con incrementi fino a 6.9 dB in PSNR e 0.15 in SSIM, insieme a riduzioni dell’indice LPIPS fino a 0.13 su dataset endoscopici particolarmente complessi. Il framework raggiunge inoltre un'accuratezza elevata nel tracking, con errori traslazionali inferiori a 1 mm sulle sequenze di C3VD. I risultati della tesi suggeriscono che il miglioramento della percezione endoscopica richieda l’integrazione di modellazione geometrica, approcci data-driven e generazione di dati realistici. I contributi proposti affrontano alcune delle principali limitazioni della pratica endoscopica attuale, introducendo nuovi metodi per la misurazione delle lesioni e la comprensione spaziale. Tramite misurazioni più accurate e una visualizzazione migliore della mucosa, questo lavoro contribuisce allo sviluppo di sistemi endoscopici assistiti finalizzati a migloiorare affidabilità diagnostica e qualità delle procedure.