Visual servoing control for robot-assisted vascular ultrasound imaging and reconstruction

Ultrasound imaging is a key tool in vascular diagnostics due to its real-time visualization, portability, low cost, and safety. However, conventional procedures rely heavily on operator skill, making image acquisition inconsistent and hard to replicate. This limits access to high-quality diagnostics, especially in remote areas. Robotic-assisted ultrasound systems (RUSS) offer a solution by automating and standardizing the scanning process. This thesis presents a semi-autonomous robotic system for vascular ultrasound imaging based on image-based visual servoing (IBVS). The platform uses a 7-DOF KUKA LWR IV+ robotic arm and a Telemed MicrUs EXT-1H linear probe. It dynamically adjusts probe alignment using real-time feedback from ultrasound images to track a target blood vessel. A central aspect is the comparison of four tracking strategies for detecting the vessel’s center (“proxy point”): (i) a U-Net-based segmentation extracting the vessel contour and center; (ii) a YOLO-based detector identifying bounding boxes and centers; (iii) a sparse optical flow (Lucas-Kanade) applied to YOLO outputs for frame-to-frame tracking; and (iv) a dense optical flow (Farnebäck) initialized from YOLO, offering pixel-level motion estimation. The system is built using the Robot Operating System (ROS) to ensure modularity and real-time control. Visual servoing adjusts the robot's motion based on image error between the current and desired vessel position. Experiments on a vascular phantom assess tracking accuracy, stability, robustness, and computational efficiency. Results show U-Net offers high accuracy but is slower; YOLO is fast but less stable.

L’ecografia è uno strumento fondamentale per la diagnostica vascolare, grazie alla visualizzazione in tempo reale, alla portabilità, al basso costo e all’assenza di radiazioni. Tuttavia, i metodi tradizionali dipendono fortemente dall’abilità dell’operatore, causando variabilità nelle immagini e bassa ripetibilità. Questo limita l’accesso a diagnosi di qualità, soprattutto in aree remote. I sistemi ecografici robotici (RUSS) offrono una soluzione automatizzando il processo di scansione. Questa tesi presenta un sistema robotico semi-autonomo per imaging vascolare basato su visual servoing guidato da immagini (IBVS). Il sistema utilizza un braccio robotico KUKA LWR IV+ a 7 gradi di libertà e una sonda lineare Telemed MicrUs EXT-1H, regolando dinamicamente la posizione della sonda tramite feedback visivo in tempo reale per seguire un vaso sanguigno. Sono confrontate quattro strategie di tracking del centro della vena (“proxy point”): (i) segmentazione U-Net per estrarre contorno e centro; (ii) rilevamento YOLO con box e centro; (iii) sparse optical flow (Lucas-Kanade) su output YOLO; (iv) dense optical flow (Farnebäck) inizializzato da YOLO per il tracking pixel-wise. Il sistema si basa su Robot Operating System (ROS), garantendo modularità e controllo in tempo reale. Il visual servoing guida il movimento robotico in base all’errore tra posizione corrente e posizione desiderata del vaso. I test su un fantoccio vascolare valutano accuratezza, stabilità, robustezza ed efficienza. I risultati mostrano che U-Net è preciso ma lento, YOLO veloce ma meno stabile.