Depth-enhanced multi-view triangulation for automated 3D polyp sizing in magnetic-guided robotic colonoscopy

Accurate measurement of colorectal polyp size during colonoscopy is essential to guide resection techniques, surveillance intervals, and cancer risk management. However, a robust reference standard is currently lacking in routine practice, leading to significant subjectivity among endoscopists. To standardize the procedure, a fully automated, computer vision-based sizing pipeline was developed and implemented on the Magnetic Flexible Endoscope (MFE) platform, a robotic system enabling magnetic-guided colonoscopy, with the built-in localization system being exploited to estimate the endoscope’s pose within the colon. The algorithm was validated in a simulated clinical environment using a colon phantom with six 3D-printed polyps of varying shapes and sizes, and a marked biopsy forceps for distance reference. Using synchronized endoscopic video and pose data, polyp borders were segmented via the Segment Anything Model 2, matched across frames through shape-context descriptors, and the 3D coordinates were calculated employing triangulation based on intrinsic and extrinsic camera parameters. After outlier removal, the resulting 3D point cloud was projected onto its best-fit plane, and a 2D bounding box was computed to estimate the polyp’s minimal and maximal dimensions. Both two-view and multi-view triangulation strategies were evaluated, with and without a depth-enhanced correction module. The corrected three and four-view methods demonstrated the best performance, achieving mean absolute errors of 1.86 mm and 1.64 mm, and mean absolute percentage errors of 14.85%, and 13.51%, respectively, all within clinically acceptable limits (<2 mm). Furthermore, the creation of a preliminary 3D mesh offers an initial reconstruction of the polyp’s surface, capturing its overall shape and establishing a basis for the future development of more detailed 3D models. These results demonstrate that localization-based multi-view triangulation enables accurate, operator-independent polyp sizing, presenting a promising solution for standardized, reliable measurements in clinical settings.

Una misurazione accurata delle dimensioni dei polipi del colon-retto durante la colonscopia è cruciale per guidare la resezione, definire gli intervalli di controllo e gestire il rischio oncologico. Tuttavia, nella pratica clinica manca uno standard di riferimento robusto, con conseguente variabilità tra gli endoscopisti. Per standardizzare la procedura, è stata sviluppata una pipeline completamente automatizzata basata su algoritmi di visione sulla piattaforma Magnetic Flexible Endoscope, un sistema robotico per colonscopia a guida magnetica con un sistema di localizzazione per stimare la posizione dell’endoscopio all’interno del colon. L’algoritmo è stato validato in ambiente simulato, utilizzando un modello di colon con sei polipi stampati in 3D e una pinza da biopsia marcata come riferimento per la distanza. I video endoscopici sincronizzati con i dati di posa sono stati analizzati segmentando i polipi tramite Segment Anything Model 2; i bordi sono stati abbinati tra fotogrammi usando l’algoritmo di shape context matching e le coordinate 3D ottenute mediante triangolazione, sfruttando i parametri intrinseci ed estrinseci della camera. Eliminati gli outlier, la nuvola di punti 3D è stata proiettata sul piano che meglio approssima i dati, da cui è stata calcolata una bounding box 2D per stimare le dimensioni del polipo. Sono state confrontate strategie di triangolazione a due e multi-viste, con e senza correzione basata sulla distanza. I metodi corretti a tre e quattro viste hanno ottenuto le migliori prestazioni, con errori assoluti medi di 1,86 mm e 1,64 mm, e errori percentuali medi del 14,85% e 13,51%, rientrando nei limiti accettati nella pratica clinica(<2 mm). Infine, è stata generata una mesh 3D inziale, utile per la ricostruzione della forma complessiva del polipo e come base per modelli 3D futuri. I risultati confermano che la triangolazione multi-vista guidata dalla localizzazione consente misurazioni accurate e indipendenti dall’operatore, rappresentando una soluzione promettente per la standardizzazione clinica.