Autonomous gallbladder exposure in robotic minimally invasive surgery: a reinforcement learning approach from simulation to real-world deployment

Laparoscopic cholecystectomy is the gold standard surgical procedure for symptomatic gallbladder disease, requiring precise instrument manipulation and adequate exposure of the gallbladder as a prerequisite for safe dissection. To augment human capabilities in this complex clinical scenario, Robotic-Assisted Surgery (RAS) platforms like the da Vinci Surgical System have been introduced. However, current RAS systems still lack automation, requiring continuous manual control even for repetitive subtasks such as tissue retraction. Automating these steps through Reinforcement Learning (RL) has the potential to significantly reduce the surgeon’s physical and mental workload, allowing them to focus on the most critical phases of the procedure. This thesis presents a complete sim-to-real RL pipeline to automate two sequential surgical subtasks: reaching a target point on the liver surface, and retracting the tissue to expose the gallbladder. The policies are trained in simulation using NVIDIA Isaac Sim and Isaac Lab, evaluating and comparing two different architectures: a state-based approach relying on proprioceptive observations, and an image-based approach learning directly from raw RGB frames. To validate the learned policies, they are first tested across multiple independent trials in simulation and then deployed on a physical da Vinci Research Kit (dVRK) platform at the STORM Lab, University of Leeds, using a custom-fabricated silicone anatomical phantom. Policy performance is quantitatively evaluated in terms of success rate (SR) and episode length, determined by the position and orientation errors for the reaching phase and by the visual exposure of the gallbladder via color-based segmentation for the lifting phase. Validation results showed better outcomes for the state-based approach (SR = 100% in both environments for both tasks) with respect to the image-based case, which achieved satisfactory success in simulation (SR = 60% for reaching, 90% for lifting) but failed completely on the real setup (0% SR). This outcome highlights the impact of the visual sim-to-real gap, demonstrating the need for a domain adaptation strategy based on image-to-image translation.

La colecistectomia laparoscopica è la procedura chirurgica gold standard per il trattamento della malattia sintomatica della colecisti, la quale richiede una precisa manipolazione degli strumenti e un’adeguata esposizione della colecisti come prerequisito per una dissezione sicura. Per estendere e supportare le capacità dell’operatore in questo complesso scenario clinico, sono state introdotte piattaforme di Chirurgia Robot-Assistita (RAS), come il sistema da Vinci. Tutt’oggi, però, le attuali piattaforme RAS mancano di funzionalità autonome, richiedendo un costante controllo manuale diretto anche per compiti di routine come la retrazione tissutale. L’automazione di tali sottocompiti tramite reinforcement learning (RL) ha il potenziale di ridurre significativamente il carico di lavoro sia fisico che mentale del chirurgo, permettendogli di concentrarsi sulle fasi più critiche della procedura. Questa tesi presenta una pipeline RL completa con trasferimento simulazione-realtà (sim-to-real) per l’automazione di due sottocompiti chirurgici sequenziali: il raggiungimento di una posa target sulla superficie del fegato (reaching) e la retrazione del tessuto per esporre la colecisti (lifting). Le policy sono addestrate in simulazione utilizzando i framework NVIDIA Isaac Sim e Isaac Lab, valutando e confrontando due diverse architetture: un approccio basato su dati di stato, che sfrutta osservazioni propriocettive, e un approccio basato sulle immagini, in cui l’agente apprende direttamente da frame RGB grezzi. Per validare le policy apprese, queste vengono prima testate su più esecuzioni indipendenti in simulazione e successivamente implementate su una piattaforma fisica da Vinci Research Kit (dVRK) presso lo STORM Lab dell’Università di Leeds, utilizzando un fantoccio anatomico in silicone appositamente fabbricato. Le prestazioni delle policy sono valutate quantitativamente in termini di success rate (SR) e durata degli episodi, determinati dagli errori di posizione e orientamento per la fase di reaching e dal grado di esposizione visiva della colecisti tramite segmentazione cromatica per la fase di lifting. I risultati di validazione hanno mostrato esiti migliori per l’approccio basato su dati di stato (SR = 100% in entrambi gli ambienti, per entrambi i sottocompiti) rispetto al caso basato su immagini, il quale ha ottenuto un successo soddisfacente in simulazione (SR = 60% per il reaching, 90% per il lifting) ma si è rivelato completamente inefficace in ambiente reale (0% SR). Questo risultato evidenzia l’impatto della discrepanza visiva tra simulazione e realtà, dimostrando la necessità di una strategia di adattamento di dominio basata sulla traduzione visiva.