Collaboration with an AI agent in the body integration robotic surgical system

Modern robotic surgery systems have significantly enhanced surgical capabilities through improved precision and visualization. Nevertheless, these platforms remain sophisticated teleoperating systems that rely entirely on the surgeon's continuous input, offering limited autonomy or decision support. This dependence on direct manual control imposes substantial cognitive demands on the operator, especially during delicate soft tissue manipulation where context-aware precision is crucial. This thesis aims to bridge the gap between pure teleoperation and autonomy by developing a shared control framework designed to act as an intelligent co-pilot. Rather than superseding the surgeon's role, the proposed architecture dynamically arbitrates control authority based on real-time uncertainty estimation, blending the operator's flexibility with machine precision. The underlying mechanism of the system is a hierarchical control strategy. A low-level Cartesian admittance controller with integrated gravity compensation ensures physical compliance and safety during interaction. Simultaneously, a high-level data-driven agent leverages a deep convolutional autoencoder for visual feature extraction and sequence models, including long short-term memory and Transformers, to forecast optimal surgical trajectories. Validation performed on a dual-arm setup in a simulated surgical environment demonstrates that this uncertainty-aware collaboration significantly improves tracking accuracy and reduces trajectory deviation compared to unassisted teleoperation, effectively bridging the gap towards expert-level dexterity. By harmonizing deep learning predictions with robust control theory, this work validates the potential of shared autonomy to enhance surgical safety and efficacy without compromising the surgeon's ultimate oversight.

I moderni sistemi di chirurgia robotica hanno ampliato notevolmente le capacità chirurgiche grazie a una migliore precisione e visualizzazione. Tuttavia, tali piattaforme rimangono sofisticati sistemi teleoperatori che dipendono interamente dall'input continuo del chirurgo, offrendo un'autonomia e un supporto decisionale limitati. Questa dipendenza dal controllo manuale diretto impone un notevole carico cognitivo sull'operatore, specialmente durante la manipolazione delicata dei tessuti molli, dove un'azione precisa e consapevole del contesto è fondamentale. Questa tesi mira a colmare il divario tra teleoperazione diretta e autonomia sviluppando un framework di controllo condiviso progettato per agire come un co-pilota intelligente. Invece di sostituire il chirurgo, l'architettura proposta arbitra dinamicamente l'autorità di controllo basandosi sulla stima dell'incertezza in tempo reale, fondendo la flessibilità dell'operatore con la precisione della macchina. Il meccanismo alla base del sistema è una strategia di controllo gerarchica. Un controllore d'ammettenza cartesiano a basso livello, con compensazione di gravità integrata, garantisce la conformità fisica e la sicurezza durante l'interazione. Simultaneamente, un agente data-driven di alto livello sfrutta un deep convolutional autoencoder per l'estrazione di caratteristiche visive e modelli di sequenza, inclusi long short-term memory e Transformer, per prevedere le traiettorie chirurgiche ottimali. La validazione, condotta su un sistema a doppio braccio in un ambiente chirurgico simulato, dimostra che questa collaborazione consapevole dell'incertezza migliora significativamente l'accuratezza del tracciamento e riduce la deviazione della traiettoria rispetto alla teleoperazione non assistita, colmando efficacemente il divario che separa da una destrezza di livello esperto. Armonizzando le previsioni del deep learning con la teoria del controllo robusto, questo lavoro valida il potenziale dell'autonomia condivisa nel migliorare la sicurezza e l'efficacia chirurgica senza compromettere la supervisione finale del chirurgo.