A step toward augmented reality: integration of soft tissue 3D reconstruction and vessel segmentation in surgical scenes

In recent years, robotic surgery has emerged as a new technology in the field of minimally invasive surgery, gradually replacing traditional laparoscopic techniques, particularly in complex procedures such as prostatectomy. This shift has been driven by the several advantages offered by robotic systems, including enhanced precision, dexterity, and visualization capabilities, which have translated into improved surgical outcomes and patient recovery. The integration of Augmented Reality (AR) into robotic surgery has further revolutionized the field, providing surgeons with real-time guidance and visualization during procedures, thereby augmenting their capabilities and enhancing patient care. This study aims to establish a framework for the future application of AR in surgical settings. The developed algorithm focuses on reconstructing anatomical structures present in the surgical field using stereo-image acquisitions from endoscopic cameras. This 3D reconstruction is then fused with blood vessel segmentation, an important reference structure for surgical navigation. Specifically, blood vessel segmentation can be used as a reference to localize lymph nodes, which are often invisible during surgery but hold significant importance in oncological procedures. To facilitate the visualization and localization of lymph nodes, a comprehensive pre-operative model is constructed based on detailed PET scans of the patient, where they are visible. This model will facilitate future studies by enabling registration with intraoperative blood vessel structures. The 3D reconstruction procedure is tested using the public SERV-CT dataset and a private clinical dataset provided by the Istituto Europeo di Oncologia (IEO). Meanwhile, the segmentation procedure is validated using only the private dataset. Furthermore, various metrics are employed to assess performance and inference time across different methods. While the 3D reconstruction exhibits promising results, the segmentation procedure shows a wider range of outcomes due to the demanding nature of the task. So, this research lays the groundwork for leveraging augmented reality in surgical practice.

Negli ultimi anni, la chirurgia robotica è emersa come una nuova tecnologia nel campo della chirurgia minimamente invasiva, sostituendo gradualmente le tecniche laparoscopiche tradizionali, specialmente in interventi complessi come la prostatectomia. Questo cambiamento è dovuto ai numerosi vantaggi offerti dai sistemi robotici, tra cui una maggiore precisione, destrezza e capacità di visualizzazione, che si sono tradotti in migliori risultati chirurgici e recupero dei pazienti. L'integrazione della Realtà Aumentata (RA) nella chirurgia robotica ha ulteriormente rivoluzionato il campo di applicazione, fornendo ai chirurghi una guida e una visualizzazione in tempo reale durante gli interventi, migliorando così le loro capacità e l'assistenza ai pazienti. Questo studio mira a fornire un quadro globale per l'applicazione futura della Realtà Aumentata in contesti chirurgici. L'algoritmo sviluppato si concentra sulla ricostruzione delle strutture anatomiche presenti nel campo operatorio utilizzando acquisizioni stereo da telecamere endoscopiche. Questa ricostruzione 3D viene poi fusa con la segmentazione del vaso sanguigno, una struttura di riferimento importante per la navigazione chirurgica. In particolare, la segmentazione dei vasi sanguigni può essere utilizzata come riferimento per la localizzazione dei linfonodi, spesso invisibili durante l'intervento ma di grande importanza nei procedimenti oncologici. Per facilitare la visualizzazione e la localizzazione dei linfonodi, viene costruito un modello pre-operatorio partendo da scansioni PET del paziente, dove questi sono visibili. Tale modello faciliterà studi futuri consentendo la registrazione con il modello tridimensionale intraoperatorio. La validazione della procedura di ricostruzione 3D è stata condotta utilizzando il dataset SERV-CT pubblico e un set di dati clinici privato fornito dall'Istituto Europeo di Oncologia (IEO). La procedura di segmentazione è stata validata utilizzando solo il set di dati privato. Inoltre, sono state impiegate varie metriche per valutare le prestazioni e il tempo di inferenza tra diversi metodi. Mentre la ricostruzione 3D ha permesso di ottenere risultati promettenti, la procedura di segmentazione ha mostrato una gamma più ampia di risultati a causa della natura complessa del task. Pertanto, questa ricerca pone le basi per l'implementazione della Realtà Aumentata nella pratica chirurgica.