Safe action chunking transformers via predictive safety filtering in surgical robotics

Robot-assisted surgical manipulation demands high task performance under strict geometric safety constraints, yet learned visuomotor policies provide no explicit constraint-satisfaction guarantees at deployment time, especially under perception noise and distribution shift. Action Chunking Transformers (ACT) execute multi-step action chunks open-loop, which improves practicality but increases the risk of violating unseen keepout constraints. This thesis improves deployment-time safety by wrapping ACT with a Predictive Safety Filter (PSF) that enforces keepout constraints online without retraining the policy. We build an end-to-end pipeline in ORBIT-Surgical (NVIDIA Isaac Lab) with controlled stress tests, specifically, spherical keepout obstacle and randomized table-camera pose. The PSF monitors each nominal chunk, predicts horizon-level violations, and reprograms it to a minimally deviating safe alternative using barrier-inspired constraints. Two optimization back-ends are compared: a quadratic program (QP) and a nonlinear program (NLP). Across 100-rollout evaluations under geometric perturbations, ACT remains often successful but exhibits frequent safety violations, while PSF reduces the collision rate from 63% to 11% and increases safe-and-successful completion from 29% to 74%, with limited impact on overall task completion. The NLP back-end shows more persistent feasibility and near-zero heuristic fallback compared to QP, yielding larger and more consistent keepout clearances. We provide a statistically grounded evaluation framework combining inferential outcome analysis with set-invariance-inspired criteria under bounded tracking error. Overall, predictive safety filtering improves deployment-time safety of chunked policies in surgical-style settings by enforcing keepout constraints online while preserving controllability.

La manipolazione robotica in chirurgia mininvasiva richiede prestazioni elevate senza derogare a vincoli geometrici di sicurezza rigorosi. Le politiche visuomotorie apprese finora, pur efficaci in scenari nominali, non forniscono garanzie esplicite di soddisfacimento dei vincoli in fase di impiego; in particolare, gli Action Chunking Transformers (ACT) eseguono sequenze di azioni in modo parzialmente open-loop, esponendosi a possibili violazioni di vincoli di sicurezza non visti. Questa tesi affronta il problema introducendo un Predictive Safety Filter (PSF) che avvolge ACT e impone vincoli di sicurezza online, senza richiedere il retraining della policy. Abbiamo sviluppato una pipeline end-to-end in ORBIT-Surgical (NVIDIA Isaac Lab) e definito stress test controllati introducendo (i) un ostacolo sferico che rappresenta una zona di esclusione (keepout) e (ii) la randomizzazione, a ogni rollout, della posa della table-camera. Il PSF monitora ciascun chunk nominale, predice possibili violazioni su un orizzonte finito e lo riprogramma in un’alternativa sicura a deviazione minima, imponendo vincoli ispirati alle barriere. Confrontiamo infine due back-end del programma di sicurezza: una formulazione di tipo quadratic program (QP) e una di tipo nonlinear program (NLP). Su 100 rollouts con perturbazioni geometriche, ACT rimane spesso efficace ma presenta violazioni di sicurezza frequenti; al contrario, il PSF riduce il tasso di collisione dal 63% all'11% e aumenta i completamenti sicuri dal 29% al 74%, con un impatto limitato sul completamento complessivo del task. Inoltre, rispetto al QP, il back-end NLP mostra una fattibilità più persistente e un ricorso quasi nullo ad errori di riprogrammazione, ottenendo margini di sicurezza più ampi e più consistenti. Introduciamo infine una metodologia analitica e data-driven per quantificare performance e stabilità, che combina un’analisi inferenziale degli outcome con criteri di stabilità ispirati alla set-invariance sotto errore di tracking limitato. Nel complesso, i risultati indicano che il predictive safety filtering rende più sicure politiche a pacchetti di azioni in contesti chirurgici, imponendo online i vincoli di sicurezza e preservando la controllabilità.