Physics-based extended reality for real-time guidance in minimally invasive cardiovascular interventions

Percutaneous interventions have transformed surgical practice by enabling minimally invasive access to anatomical structures. While surgical planning based on preoperative imaging and 3D anatomical reconstruction supports procedure design, intraoperative guidance remains intrinsically challenging. Surgeons must infer tool position without direct visualization, relying on intraoperative imaging that provides only partial, modality-specific information, while haptic feedback through long, flexible instruments is highly attenuated. In cardiovascular percutaneous procedures, these challenges are amplified by the fast and continuous motion of cardiac targets and the deformability of cardiovascular and surrounding soft tissues. These factors demand highly time-resolved feedback on tool-target relative pose and updated 3D reconstructions accounting for intraoperative tissue deformations. The present thesis introduces physics-based computational tools to address these needs in cardiovascular percutaneous procedures. It proposes finite element modeling to compute tissue deformations invisible to X-ray fluoroscopy, and sonification to provide feedback on tool and cardiac target pose, both integrated within an Extended Reality framework. The developed solutions are showcased through three use cases: (i) transcatheter navigation where catheter sensing and biomechanical simulation predict vessel deformations; (ii) percutaneous cardiac access where physics-driven sonification encodes needle proximity to moving structures; and (iii) a generalizable framework formalizing biomechanical-acoustic coupling for tool-tissue interaction representation across surgical domains. This work advances computer-assisted surgery by establishing validated methodologies for physics-based surgical interaction modeling, demonstrating that multisensory Extended Reality interfaces effectively address limitations of purely visual guidance. These contributions establish a foundation for surgical navigation systems where imaging, biomechanics, and sensory feedback function as coupled elements of a unified computational framework for real-time intervention support.

Gli interventi percutanei hanno rivoluzionato la pratica chirurgica, consentendo l’accesso mini-invasivo alle strutture anatomiche. Sebbene la pianificazione basata su imaging preoperatorio e ricostruzioni anatomiche 3D supporti la pianificazione della procedura, la guida intraoperatoria rimane intrinsecamente complessa. I chirurghi devono dedurre la posizione dello strumento in assenza di visualizzazione diretta, affidandosi a immagini intraoperatorie che forniscono informazioni parziali, mentre il feedback tattile attraverso strumenti lunghi e flessibili è fortemente attenuato. Nelle procedure cardiovascolari percutanee, queste difficoltà sono amplificate dal movimento rapido e continuo dei target cardiaci e dalla deformabilità dei tessuti circostanti e cardiovascolari stessi. Questi fattori richiedono un feedback temporale altamente accurato sulla posizione relativa tra strumento e bersaglio, nonché aggiornamenti delle ricostruzioni 3D che tengano conto delle deformazioni intraoperatorie. La presente tesi introduce strumenti computazionali basati sulla fisica per rispondere a queste esigenze. In particolare, propone l’uso della modellazione a elementi finiti per stimare le deformazioni dei tessuti non visibili alla fluoroscopia e della sonificazione per fornire un feedback sulla posizione relativa tra strumento e bersaglio cardiaco dinamico, entrambi integrati in un framework di realtà estesa. Le soluzioni sviluppate sono illustrate attraverso tre casi d’uso: (i) la navigazione transcatetere, in cui i dati di un catetere sensorizzato, integrati con simulazione biomeccanica, consentono la predizione delle deformazioni vascolari; (ii) l’accesso cardiaco percutaneo, in cui la sonificazione basata sulla fisica codifica la vicinanza dell’ago a strutture in movimento; e (iii) un paradigma generale che integra biomeccanica e sintesi acustica per rappresentare l’interazione strumento–tessuto in diversi domini chirurgici. Questa tesi rappresenta un progresso significativo nell’ambito della computer-assisted surgery, proponendo metodologie validate per la modellizzazione dell’interazione chirurgica. I risultati dimostrano che le interfacce multisensoriali di realtà estesa possono superare i limiti dei modelli di guida puramente visiva, aprendo nuove prospettive per la navigazione negli interventi percutanei attraverso l’integrazione di imaging, biomeccanica e feedback multi-sensoriale.