Autonomous robotic navigation inside the human heart

Mitral regurgitation is one of the most prevalent valvular heart disorders, which often requires surgical intervention. For high-risk patients, transcatheter mitral valve repair using the MitraClip device represents a minimally invasive alternative to open-heart surgery. However, catheter navigation is a technically challenging procedure, which requires extensive training and prolonged exposure of the surgeon to radiation. In this context, interventional robotics and autonomous control strategies can enhance safety, repeatability, and procedural standardization. This work presents the development of an autonomous control framework for a tendon-driven continuum robot: a robotised MitraClip delivery catheter. The catheter is modelled using a constant curvature kinematic approximation, allowing forward and inverse kinematics computation between actuation space and task space. Two control strategies are developed and compared: a classical Proportional–Integral–Derivative (PID) controller, used for expert trajectory tracking, and a Reinforcement Learning–based controller trained to reach prescribed target positions without predefined trajectories. The RL controller is trained using a Soft Actor-Critic algorithm enhanced with the Hindsight Experience Replay technique. The training is conducted in a Unity-based simulation environment, with two left atrium anatomy reconstructions from real-patients CT data. Performance is evaluated in terms of target position error and minimum tip–wall distance, under realistic measurement noise conditions. Results show that the RL-based controller achieves a 100\% success rate in both the training and one unseen testing anatomy, demonstrating robust generalization capabilities. Statistical analysis reveals no significant difference in target positioning accuracy between the PID and RL controllers. However, the RL controller exhibits lower variability across episodes and follows more closely an optimal maximum-clearance path inside the atrium, ensuring safe navigation. While the PID controller achieves a marginally safer worst-case tip–wall distance, the RL policy demonstrates highly consistent and repeatable behaviour. The proposed RL-based framework demonstrates promising results for autonomous catheter navigation in minimally invasive cardiac interventions, with accurate, robust, and repeatable performance while eliminating reliance on expert-defined trajectories

L’insufficienza della valvola mitrale (MV) rappresenta una delle patologie cardiache più diffuse, ed è caratterizzata da una incompleta chiusura della MV, che determina un flusso di sangue retrogrado dal ventricolo sinistro all’atrio sinistro. Il trattamento di tale patologia richiede frequentemente un intervento chirurgico, preferendo la riparazione alla sostituzione. Nei pazienti ad alto rischio operatorio, la riparazione della valvola mitrale mediante procedure percutanee costituisce un’alternativa mini-invasiva alla chirurgia a cuore aperto. Tuttavia, la navigazione del catetere in ambiente intracardiaco è una procedura tecnicamente complessa, caratterizzata da un’elevata curva di apprendimento e da una significativa esposizione del personale clinico a radiazioni. In questo contesto, l’integrazione di sistemi robotici e di strategie di controllo autonomo possono contribuire ad aumentare la sicurezza, la ripetibilità e il grado di standardizzazione della procedura. Questo lavoro propone lo sviluppo e la validazione di un framework di controllo autonomo di un catetere robotizzato (un “tendon-driven continuum robot”) per impiantare il dispositivo MitraClip. Il sistema è stato modellato mediante un’approssimazione cinematica a curvatura costante, che consente la formulazione della cinematica diretta e inversa e la mappatura tra spazio di attuazione e spazio operativo. Nell’ambito di questo studio sono state implementate e confrontate due strategie di controllo: un controllore Proporzionale–Integrale–Derivativo (PID), impiegato per l’inseguimento di traiettorie esperte acquisite da un chirurgo, e un controllore basato su Reinforcement Learning (RL), addestrato a raggiungere posizioni target assegnate in assenza di traiettorie predefinite. Il controllore RL ha appreso la propria politica di controllo mediante l’algoritmo Soft Actor-Critic (SAC), integrato con la tecnica di Hindsight Experience Replay (HER), al fine di migliorare l’efficienza dell’apprendimento. L’addestramento è stato condotto in un ambiente di simulazione sviluppato in Unity, utilizzando due ricostruzioni tridimensionali dell’atrio sinistro, derivate da scansioni TC di pazienti reali. Le prestazioni dei controllori sono state valutate in termini di errore di posizionamento rispetto al target e di distanza minima tra la punta del catetere e la parete atriale, includendo disturbi di misura realistici. I risultati evidenziano che il controllore basato su RL raggiunge un tasso di successo del 100% sia nell’anatomia di addestramento che su un’anatomia di test non utilizzata durante il training, dimostrando elevate capacità di generalizzazione. Sebbene l’analisi statistica non mostri differenze significative in termini di accuratezza di posizionamento rispetto al controllore PID, la policy di controllo appresa mediante RL presenta una minore variabilità tra gli episodi e tende a seguire in maniera più fedele il percorso ottimale, favorendo una navigazione più sicura e consistente. Inoltre, nonostante il controllore PID mostri un comportamento migliore in termini di worst-case della distanza dalle pareti dell'atrio, il comportamento del controllore RL risulta complessivamente più stabile e ripetibile. In conclusione, il lavoro proposto dimostra il potenziale delle tecniche di Reinforcement Learning per la navigazione autonoma del catetere in procedure cardiache percutanee, offrendo prestazioni accurate e robuste e riducendo la dipendenza da traiettorie sicure definite a priori, con prospettive concrete di supporto alla pratica clinica futura.