Human joints-based registration of DICOM volumes to the patient in the operating room for surgical navigation support

Minimally Invasive Surgery (MIS) can reduce patient trauma and shorten recovery time, but it also introduces substantial perceptual challenges for the surgeon. During these procedures, clinicians operate using two-dimensional endoscopic views and must continuously integrate intra-operative visual cues with pre-operative volumetric imaging. Augmented Reality (AR) can help bridge this gap by overlaying patient-specific three-dimensional anatomical information directly onto the surgical field. In practice, however, the effectiveness of AR systems largely depends on robust registration between virtual anatomy and the patient's physical pose in the operating room most commonly achieved through marker-based solutions. This work proposes a modular, markerless workflow for the alignment and visualization of patient-specific anatomical models. The approach leverages vision-based Human Pose Estimation (HPE) from an overhead viewpoint to extract skeletal landmarks, which are then associated with corresponding internal landmarks derived from pre-operative CT data. These paired landmarks enable correspondence-based registration, allowing the CT volume and segmented anatomical meshes to be spatially aligned within a shared coordinate system. The system is presented as a proof of concept within a virtual simulation environment used as a surrogate for the operating room. The proposed workflow achieves coherent and repeatable superimposition of internal anatomical structures while maintaining low complexity and avoiding external markers. Although the method does not address deformable registration and does not provide metric accuracy suitable for clinical validation, it establishes a structured framework for AR visualization in surgical contexts. Its modular design is intended to support future extensions, including improved tracking and more advanced registration strategies to increase robustness and move toward clinically applicable performance.

La chirurgia mininvasiva può ridurre significativamente il trauma per il paziente e i tempi di recupero, ma introduce difficoltà per il chirurgo, legate alla percezione spaziale. In queste procedure il chirurgo utilizza immagini endoscopiche bidimensionali, che richiedono una continua integrazione mentale tra i dati pre-operatori e le informazioni ottenute durante l'operazione. La realtà aumentata ha le potenzialità di colmare questo divario, sovrapponendo informazioni anatomiche tridimensionali direttamente sul campo chirurgico. Il successo di sistemi di questo tipo dipende da una sovrapposizione affidabile, che viene generalmente realizzata tramite marcatori fisici posizionati sul paziente. Il presente lavoro propone un processo modulare e senza l'uso di marcatori fisici, per poter effettuare l'allineamento e visualizzare i modelli anatomici sul paziente. La soluzione proposta sfrutta l'utilizzo di tecniche di human pose estimation in computer vision, per estrarre punti di riferimento scheletrici da una vista dall'alto del paziente. Tali articolazioni vengono associate a punti di riferimento trovati all'interno della scansione tomografica pre operatoria. Creando una corrispondenza tra questi due punti si ottiene un allineamento spaziale tra il volume TC e le mesh anatomiche segmentate, il tutto in un sistema di coordinate unificato. Il sistema è presentato come un proof of concept in un ambiente di simulazione virtuale, in sostituzione di una vera sala operatoria. Il risultato è una sovrapposizione coerente e ripetibile di strutture anatomiche interne, grazie ad un processo caratterizzato da bassa complessità e senza l'uso di marcatori. Il metodo proposto non affronta la problematica della registrazione deformabile, e non fornisce una metrica di accuratezza e precisione adatta ad una valutazione clinica, ma definisce un framework strutturato per la visualizzazione in realtà aumentata in chirurgia. La progettazione modulare consente future integrazioni di diverse tecniche di tracking e registrazione, aumentando la robustezza del sistema.