Toward autonomous visual assistance in robotic microsurgery: AI-powered ergonomic enhancements

Robotic Microsurgery operates at the sub-millimeter scale, where extreme precision, high optical magnification, and constrained Field of View impose significant perceptual and ergonomic challenges. Although modern robotic platforms provide motion scaling and tremor reduction, current visualization systems remain largely passive, relying entirely on the surgeon’s interpretation of raw image data. This limitation restricts the development of context-aware autonomous assistance within the surgical workflow. This thesis presents an Artificial Intelligence (AI)-driven perception framework that extends surgical visualization from passive image display to structured scene interpretation. By jointly addressing instrument tracking, semantic instance segmentation, and scale- consistent metric depth estimation, the developed framework establishes a coherent and structured understanding of the microsurgical scene beyond raw image rendering. First, a dual-instrument detection and tracking framework is introduced. The method combines a morphology-aware detection backbone with a Kalman-based data association strategy tailored to the structural constraints of dual-arm microsurgical platforms. The resulting system maintains real-time performance while ensuring temporally coherent and identity-preserving tracking under occlusion, specular reflection, and intermittent instrument visibility. Second, a lightweight instrument instance segmentation architecture (MaSCoT) is proposed. Through a two-stage knowledge distillation process from a teacher foundation model, the framework transfers both encoder-level representations and decoder-level mask predictions into a hybrid convolutional–transformer architecture suitable for intraoperative deployment. The integration of a classification head enables full instance-level segmentation, supporting semantic reasoning and structured scene interpretation. Third, a camera-aware self-supervised depth estimation framework is developed to achieve scale-consistent metric reconstruction under dynamically varying zoom levels and focal distances. The approach explicitly models camera operating parameters to reduce scale drift by combining stereo geometric supervision, Feature-wise Linear Modulation (FiLM)- based camera conditioning, and parameter-efficient adaptation via Low-Rank Adaptation (LoRA). Metric consistency and temporal stability are further improved by a multi-scale supervision approach and dynamic training curriculum. Ultimately, this thesis presents DRENDS (Depth in Robotic Endoscopy with Dynamic Scenarios), a multimodal dataset that includes synchronised stereo images and physically grounded depth measurements obtained via real-time Time of Flight sensing under robotic manipulation and non-rigid tissue deformation. DRENDS provides a benchmark for evaluating both spatial accuracy and temporal consistency in realistic surgical settings. Overall, by connecting instrument tracking, semantic segmentation, and scale-consistent metric depth estimation, this work improves visual perception in Robotic Microsurgery. The proposed contributions establish a foundation for geometry-aware and perception- driven assistance in microsurgical robotics.

La microchirurgia robotica è una branca operatoria di nicchia che consente di trattare strutture anatomiche di dimensioni submillimetriche. In tale ambito, l’elevata magnificazione ottica, la limitatezza del campo visivo e l’esigenza di estrema precisione determinano criticità rilevanti, tanto sotto il profilo percettivo quanto sotto quello ergonomico. Sebbene le moderne piattaforme robotiche offrano soluzioni innovative al supporto del chirurgo, in quanto ne scalano e adattano il movimento, oltre a filtrare e ridurre il tremore, la stessa evoluzione rimane limitata per i sistemi di visualizzazione, i quali rimangono prevalentemente passivi, affidando al chirurgo l’interpretazione delle immagini del campo operatorio. Questa limitazione ostacola lo sviluppo di forme di assistenza autonoma e aiuto per massimizzare le probabilità di successo dell’operazione chirurgica. Pertanto, la presente tesi propone un framework di percezione visiva basato su Intelligenza Artificiale, con l’obiettivo di trasformare la semplice visualizzazione passiva in un sistema di assistenza visiva a supporto della microchirurgia robotica. Il framework sviluppato è in grado di coadiuvare il chirurgo durante l’intervento, fornendo informazioni sulla posizione e sulla morfologia degli strumenti, nonché sulla profondità, a partire da immagini bidimensionali. Tali informazioni risultano fondamentali per lo sviluppo di algoritmi di collaborazione tra chirurgo e strumentazione robotica. In primo luogo, è stato sviluppato un sistema per il rilevamento e il tracciamento degli strumenti chirurgici. Il metodo integra una rete neurale basata su meccanismi di attenzione con una strategia di associazione basata su filtro di Kalman come tecnica predittiva. Il sistema consente un tracciamento in tempo reale e una coerente gestione dell’identità degli strumenti, anche in presenza di occlusioni, riflessi o visibilità intermittente. In secondo luogo, viene proposto un modello per la segmentazione degli strumenti, denominato MaSCoT, generato tramite un processo di distillazione della conoscenza a due stadi. Le informazioni apprese da un modello insegnante vengono trasferite a un’architettura ibrida convoluzionale–transformer studente, includendo sia le rappresentazioni latenti dell’encoder sia le predizioni del decoder. L’integrazione di un ramo di classificazione permette inoltre di ottenere la segmentazione semantica degli strumenti presenti nella scena. In terzo luogo, viene sviluppato un framework auto-supervisionato e camera-aware per la stima metrica della profondità, in grado di mantenere predizioni coerenti anche in presenza di variazioni dinamiche di zoom e distanza focale. Il metodo combina supervisione geometrica stereo, modulazione delle feature tramite Feature-wise Linear Modulation (FiLM) e adattamento parametrico efficiente mediante Low-Rank Adaptation (LoRA). Una strategia di addestramento dinamica e una supervisione multi-scala contribuiscono a migliorare la stabilità temporale e la coerenza metrica delle stime. Da ultimo, la tesi presenta DRENDS (Depth in Robotic Endoscopy with Dynamic Scenarios), un dataset multimodale acquisito in collaborazione con l’Università di Leeds. Questo dataset si compone di immagini stereo sincronizzate e mappe di profondità acquisite tramite sensore Time-of-Flight in tempo reale durante manipolazioni robotiche e deformazioni non rigide dei tessuti. DRENDS rappresenta un benchmark dedicato alla valutazione dell’accuratezza spaziale e della consistenza temporale in contesti chirurgici realistici. Nel complesso, questo lavoro di tesi contribuisce al progresso della percezione visiva nella microchirurgia robotica, integrando il tracciamento degli strumenti, la segmentazione semantica e la stima metrica della profondità in un quadro unificato. I contributi proposti pongono le basi per sistemi di assistenza sempre più avanzati a supporto della procedura chirurgica.