Towards real-time tool tracking for autonomous exoscope control

Exoscopes represent a promising 3D visual solution in the neurosurgical field aimed at offering an improved field of view and ergonomics to the surgeons compared with traditional surgical microscopes. However, the need for manual repositioning of the exoscope, each time a different viewpoint of the scene is required, may compromise the smoothness of the surgical procedure and bring to longer operation times. Researchers of the Nearlab Laboratory of the Politecnico di Milano proposed a working framework for an autonomous vision-guided camera holder (a redundant robotic manipulator) that tracked and followed a selected surgical instrument based on a markerless visual servoing technique. Unfortunately, the low processing speed of the Convolutional Neural Network, used to detect the tool in the images, causes a low system responsiveness with respect to tool movements and, as a consequence, a slow and inaccurate tracking of the surgical instrument. In this thesis work, a novel hybrid tracking module is proposed to allow the autonomous exoscope system to achieve a real-time tool tracking. This module is composed of an Optical flow tracking method that substitutes the Convolutional Neural Network and by a modified Particle Filter predictor designed to estimate the future position of the tracked instrument on the basis of the previous movements. To control the robot a resolved velocity controller was employed in two different ways (Position control and Orientation control). The hybrid tracking module was validated employing simultaneously two robots, one to move the surgical tool in a repeatable, predefined trajectory at two different speeds and above two different backgrounds, and one as automatic camera holder. After the validation, the controller was fine-tuned enabling the autonomous exoscope to follow the surgical tool in real-time with high accuracy (tracking error in Position control mode approximately equal to 1 cm). Finally a User Study was conducted to investigate if the proposed system was able to reduce the users' workload with respect to the manual repositioning of the camera and the results confirmed the effectiveness of the automatic control, showing that it offers a better field of view and reduce the task duration.

Gli esoscopi sono una soluzione visiva promettente nel campo della neurochirurgia. Il loro scopo è offrire ai chirurghi una migliore visuale e una maggiore ergonomia rispetto ai microscopi chirurgici tradizionali. Tuttavia, la necessità di riposizionare manualmente l'esoscopio, ogni volta che è richiesto un punto di vista differente, può compromettere la fluidità della procedura chirurgica e allungarla. I ricercatori del Laboratorio Nearlab del Politecnico di Milano hanno proposto come soluzione il fissaggio dell'esoscopio a un supporto (un manipolatore robotico ridondante) mosso automaticamente sulla base delle informazioni visive derivanti dall'esoscopio stesso. Questo sistema inseguiva uno specifico strumento chirurgico tramite una tecnica di Markerless Visual Servoing, ma a causa della bassa velocità di elaborazione della Rete Neurale Convoluzionale (utilizzata per rilevare lo strumento), l'inseguimento dello strumento chirurgico era lento, impreciso e instabile. In questa tesi, per consentire all'esoscopio autonomo un inseguimento in tempo reale, viene proposta un'innovativa tecnica ibrida di inseguimento. Questa prevede l'uso del flusso ottico come sostituto della rete neurale e l'impiego di un Particle Filter predictor per predire, in base ai movimenti precedenti, la posizione futura dello strumento. Per controllare il robot è stato utilizzato un Resolved Velocity Controller in due modalità (controllo in posizione e in orientamento). La tecnica ibrida sviluppata è stata validata ricorrendo simultaneamente a due robot, uno per spostare lo strumento chirurgico lungo una traiettoria ripetibile e predefinita a due differenti velocità e sopra due sfondi diversi, e l'altro per consentire alla videocamera di inseguire lo strumento. Dopo la validazione, i parametri del controllore sono stati messi a punto permettendo al sistema di seguire lo strumento chirurgico in tempo reale e con elevata precisione (errore di inseguimento intorno a 1 cm durante il controllo in posizione). Infine, è stato condotto uno studio con utenti per verificare che il controllo autonomo, rispetto a quello manuale, fosse efficace nel ridurre il carico di lavoro. I risultati confermano l'ipotesi: il controllo autonomo offre un migliore campo visivo e può ridurre il tempo necessario per eseguire le operazioni.