Visual servoing control and modelling of a soft robotic endoscope

Urolithiasis is the formation of stones in the urinary system. This pathology is getting more and more spread due to low fluid intake, wrong diets and life styles. Flexible ureteroscpy is getting a primary choice for stone removal thanks to improvement in available devices. In this proceedure surgeon exploits fluoroscopic and mainly endoscopic visual feedback to drive the flexible ureteroscope inside urethra, bladder and ureter up to kidneys. Flexible endoscope control requires an high degree of dexterity and training to avoid damage that might create complication and prevent positive clinical outcomes. European ATLAS (AuTonomous intraLuminAl Surgery) project aims to support surgeons by the development of a continuum soft endoscopic robot called Atlascope able to navigate autonomously through fragile lumens. Soft continuum robots introduce challenges in the control design. A continuum and flexible structure can’ t be easily modelled and simplifying assumptions are often exploited in order to come up with an analytical model of these devices. These assumptions reduce model accuracy and controller performances. In this thesis the design and implementation of a visual servoing controller for Atlascope is accomplished and deep learning modelling for Atlascope in inspected based on the experimental recorded data. After building the hardware connections to drive Atlascope’s actuation system we implemented a visual servoing controller that is able to successfully detect, track and center a target in the endoscopic camera image. Atlascope showed a non linear behaviour due to friction and backlash translated in an hysteresis behaviour. A deep learning model is proposed and tested. Promising modelling results suggest that this model might be exploited to improve controller performance.

L’urolitiasi è la formazione di calcoli nel sistema urinario. Questa patologia si sta diffondendo sempre più a causa del basso apporto di liquidi, di diete e stili di vita sbagliati. L’ureteroscopia flessibile sta diventando una scelta primaria per la rimozione dei calcoli grazie al miglioramento della strumentazione disponibile. In questa procedura il chirurgo sfrutta il feedback visivo delle immagini ottenute tramite fluoroscopia e soprattutto l’ informazione visiva della telecamera endoscopica per guidare l’ureteroscopio flessibile all’interno dell’uretra, della vescica e dell’uretere fino ai reni. Il controllo dell’endoscopio flessibile richiede un alto grado di destrezza e pratica per evitare danni che potrebbero creare complicazioni e impedire esiti clinici positivi. Il progetto europeo ATLAS (AuTonomous intraLuminAl Surgery) mira a supportare i chirurghi tramite la sviluppo di un robot endoscopico continuo e flessibile chiamato Atlascope in grado di navigare autonomamente attraverso lumi fragili. I robot continui introducono delle sfide nella progettazione del sistema di controllo. Una struttura continua e flessibile non può essere facilmente modellizzata e spesso vengono introdotte ipotesi semplificative per elaborare un modello analitico di questi dispositivi. Queste ipotesi riducono l’accuratezza del modello e le prestazioni del controllore. In questa tesi viene realizzata la progettazione e l’implementazione di un controllore a retroazione visiva per Atlascope. Inoltre la modellizzazione tramite deep learning per Atlascope viene analizzata sulla base dei dati sperimentali registrati. Dopo aver costruito le connessioni hardware per guidare il sistema di attuazione di Atlascope, abbiamo implementato un controller di servocomando visivo in grado di rilevare, tracciare e centrare con successo un obiettivo nell’immagine della telecamera endoscopica. Atlascope ha mostrato un comportamento non lineare dovuto ad attrito e gioco tradotto in un comportamento di isteresi. Qui viene proposto e sottoposto a verifica un modello di deep learning basato su reti neurali. I risultati del modello ottenuto sono promettenti e suggeriscono che questo possa essere utilizzato in futuro per migliorare le prestazioni del controllore ad ora implementato.