Inverse reinforcement learning pre-operative path planning for steerable needle in Structural Intervention Cardiology

Mitral Regurgitation is continuously increasing due to population’s aging, reaching an annual mortality rate near 34%. The Structural Intervention Cardiology procedures increased the number of treatable patients suffering from Mitral Regurgitation, since it is minimally invasive and relies on a trans-catheter approach. This approach unfortunately has some drawbacks, mainly related to the non-invasive visual feedback, that is non optimal and requires the patients’ and surgeons’ exposition to X-ray radiations. Moreover the procedures are not ergonomic and are technically demanding since the operator has to maneuver the proximal end to define the motion at the end effector. ARTERY European project aims to introduce a procedure for the Mitral Valve repair that is radiation free and easier to learn and perform, thanks to the use of an autonomous steerable and controllable robotic catheter system. In this thesis we propose a pre-operative path-planning method to generate intra-vascular and intra-cardiac trajectories safely and effectively based on Inverse Reinforcement Learning. In particular the path-planner exploits the potentialities of the General Adversarial Imitation Learning (GAIL) method, generating obstacle-free trajectories, that take into consideration the catheter’s kinematic constraints, from a starting point to a target one. The performances of the path-planner and of the integrated system were validated both in-silico and in-vitro. In-silico results show that the model is able to generate feasible trajectories with an average target error of 1.79±0.35mm in position and -5.99±3.10 degrees in orientation in the intra-cardiac phase, while it reaches an average positioning error of 3.36±1.10mm and 0.77±7.39 degrees in orientation during the intra-vascular phase. In both the two phases the model shows a Success Rate of 100%. In-vitro results on the integrated system show an average position error with the feedback controller in in X, Y, Z directions of 1.12±0.75mm, 1.09±0.68mm, 1.66±0.62mm respectively. An abstract and a paper related to this work have been submitted to CRAS2022 and to IROS2022 respectively.

Il rigurgito mitralico è in continuo aumento a causa dell’invecchiamento della popolazione, raggiungendo un tasso di mortalità annuo vicino al 34%. Le procedure di Cardiologia Interventistica Strutturale, eseguite tramite approccio mini invasivo e basandosi su un approccio trans-catetere, hanno ampliato il numero di pazienti trattabili affetti da Rigurgito Mitralico. Questo approccio presenta purtroppo alcune problematiche, legate principalmente al feedback visivo non invasivo, che non è ottimale e richiede l’esposizione di pazienti e chirurghi ai raggi X. Inoltre le procedure non sono ergonomiche e sono tecnicamente impegnative in quanto l’operatore deve manovrare l’estremità prossimale per definire il movimento in corrispondenza dell’effettore finale. Il progetto europeo ARTERY mira a introdurre una procedura per la riparazione della valvola mitrale che sia priva di radiazioni e più facile da apprendere ed eseguire, grazie all’uso di un sistema di catetere robotico autonomo, orientabile e controllabile. In questa tesi proponiamo un metodo di pianificazione del percorso pre-operatorio per generare traiettorie intravascolari e intracardiache in modo sicuro ed efficace basato su Apprendimento Inverso per Rinforzo. In particolare il path-planner sfrutta le potenzialità del metodo General Adversarial Imitation Learning (GAIL), generando traiettorie prive di ostacoli, che prendono in considerazione i vincoli cinematici del catetere, da un punto di partenza a uno target. Le prestazioni del pianificatore di percorso e del sistema integrato sono state validate in simulazione e in vitro. Nei risultati in simulazione il modello è in grado di generare traiettorie fattibili con un errore medio al target di 1,79±0,35mm in posizione e -5,99±3,10 gradi di orientazione nella fase intracardiaca, mentre raggiunge un errore di posizione medio di 3.36±1.10mm e 0.77±7.39 di orientazione in quella intravascolare. In entrambe le due fasi il modello mostra una percentuale di successo del 100%. I risultati in vitro sul sistema integrato mostrano un errore di posizione medio con il controllo a ciclo chiuso nelle direzioni X, Y, Z rispettivamente di 1, 12 ± 0.75mm, 1.09 ± 0.68mm, 1.66 ± 0.62mm. Un abstract e un paper relativo a questo lavoro sono stati inviati rispettivamente a CRAS2022 e IROS2022.