Towards the automation of robotic ultrasound scanning : using simulation to tune and test optimal robot control during tissue interaction

In the last few decades, Robotic-Assisted Minimally Invasive Surgery (MIS) has come to the foreground in the surgical field. This thesis is part of a project that aims at automating the manipulation of an intra-corporeal ultrasound probe with the da Vinci Surgical System, nowadays the most popular and widespread surgical robot. Ultrasounds allow to see in a non-invasive way beyond organs’ surfaces and they are currently employed intra-operatively because of their ability to provide dynamic real-time imaging with an immediate impact on the surgical approach to predominantly oncological solid organ disease. Organs like liver, bile ducts, pancreas, adrenal glands and kidneys are particularly suited for this kind of imaging modality. Nowadays, this technique is utilized in surgical procedures such as nephrectomy and liver resection. Open problems that still prevent a widespread use of intra-operative ultrasound are reported to be the lack of an adequate training and the artefacts caused by deformations induced by the contact force between probe and tissues. In this sense, the automation of ultrasound scanning could offer several benefits: some of them typical of autonomy, such as a reduced surgeon's cognitive workload, others more specific of this technique, like the execution of more precise three-dimensional scans and the independence from operator. Above all, the most significant advantage is the possibility to finely control the force exerted by the ultrasound probe onto human tissues. This allows both to obtain higher quality images by optimizing the acoustic coupling between US probe and organs, and to minimize harm to the patient during the scan. The aim of this thesis is the implementation and evaluation within an adequate simulation environment of control algorithms to apply to the robot in such a way that a pre-defined contact force, whose importance has been highlighted above, can be exerted between ultrasound probe and bodies. The employment of simulation is motivated by the fact that it is a remarkable tool to easily carry out experiments in multiple conditions and to conveniently collect the data of interest. For this reason, the first step in this thesis is the choice of a proper simulation framework. Starting from a comparison among currently available platforms, the choice of the most suitable one for the project fell on the Asynchronous Multi-Body Framework (AMBF). This simulation software offers the possibility to deal with soft bodies, in this way providing a physical scenario very close to the real one, and it furnishes a reliable ROS communication, which represents a convenient mean to control simulated elements from an application external to the framework. AMBF was originally not capable to return the contact force between robot and objects, which is of key importance for this project. Then, the simulation's physics solver was modified to expose this information. Finally, force control algorithms for the Patient Side Manipulator of the da Vinci have been implemented in order to evaluate its interaction with different kinds of rigid and soft bodies in AMBF. In particular, hybrid force control algorithms based on cartesian motion control have been developed and compared starting from a simpler motion control in joint space. In addition, tests have been conducted imposing different contact force goals and varying the physical properties of the interaction bodies (paying particular attention to the case of soft ones). As result of this thesis, the selected simulation framework (AMBF) has been properly modified and it provides now all the kinematics and dynamics information required for tuning and testing the robot control during tissue interaction. Specifically, hybrid force-position controls of the da Vinci Patient Side Manipulator have been implemented and tested while interacting with other objects in simulation. These algorithms and the use of such framework, suitably modified, can pave the way towards more complex control strategies such as reinforcement learning-based control, adaptive with respect to tissue’s stiffnesses. This can result in a more stable force control, necessary to move a probe around a soft surface with unknown stiffness like in ultrasound scanning.

Negli ultimi anni, la chirurgia robotica mini-invasiva è giunta a ricoprire un ruolo di primo piano nello scenario chirurgico mondiale. La presente tesi è parte di un progetto che mira ad automatizzare la manipolazione di una sonda a ultrasuoni intra-corporea tramite il da Vinci Surgical System, oggigiorno il robot chirurgico più diffuso al mondo. L’imaging a ultrasuoni permette di vedere oltre la superficie di organi e tessuti in maniera non invasiva. Attualmente gli ultrasuoni sono impiegati durante gli interventi chirurgici per la loro abilità di fornire immagini real-time che influiscono direttamente sulle decisioni che il chirurgo prende nel corso dell’operazione. Organi quali fegato, dotti biliari, pancreas, ghiandole surrenali e reni si prestano particolarmente bene a questa tipologia di imaging. Questa tecnica è utilizzata in particolare in operazioni chirurgiche quali nefrectomia e resezione del fegato. Alcune delle problematiche che restano insolute e che hanno fino ad ora ostacolato l’utilizzo su vasta scala degli ultrasuoni a livello intra-operativo sono la mancanza di un training adeguato degli operatori e gli artefatti dovuti alle deformazioni indotte dalla forza di contatto tra sonda e tessuto. In questo senso, l’automazione dello scanning a ultrasuoni offre vantaggi non indifferenti: alcuni di essi tipici di una procedura eseguita autonomamente, come un ridotto carico cognitivo per il chirurgo, altri più specifici di questa tecnica, come l’esecuzione di scansioni tridimensionali più precise e l’indipendenza dall’operatore. L’aspetto più importante, tuttavia, è la possibilità di controllare la forza esercitata dalla sonda sui tessuti umani. Ciò permette sia di ottenere immagini di più alta qualità grazie a un’ottimizzazione dell’accoppiamento acustico tra sonda e organi, sia di minimizzare il rischio di ferire il paziente nel corso della scansione. Lo scopo di questa tesi è l’implementazione e valutazione entro un’opportuna piattaforma di simulazione di algoritmi di controllo da applicare al robot in modo tale che possa essere esercitata una predefinita forza di contatto tra sonda a ultrasuoni e corpi caratterizzati da diverse proprietà. L’impiego di un ambiente di simulazione è dovuto al fatto che esso rappresenta uno strumento estremamente utile per eseguire esperimenti in varie condizioni e per ricavare comodamente i dati di interesse. Per questo motivo, il primo passo in questa tesi è la selezione di un opportuno ambiente di simulazione. Partendo da un confronto tra le piattaforme attualmente disponibili, la scelta della più adatta per il progetto è ricaduta su Asynchronous Multi-Body Framework (AMBF). Questo software di simulazione offre la possibilità di trattare corpi morbidi (o soft bodies) e fornisce un’affidabile comunicazione tramite ROS, utile mezzo per controllare elementi simulati anche da un’applicazione esterna al framework. Inizialmente AMBF non prevedeva la possibilità di conoscere la forza di interazione tra robot e oggetti, grandezza di fondamentale importanza nel progetto. Per questo motivo, il motore fisico è stato modificato al fine di ottenere tale informazione. Successivamente, sono stati implementati algoritmi di controllo della forza per il Patient Side Manipulator del da Vinci al fine di valutare la sua interazione con diverse tipologie di corpi rigidi e morbidi entro la simulazione. In particolare, sono stati sviluppati algoritmi di controllo della forza basati sul controllo del moto nello spazio cartesiano partendo dal caso più semplice di moto controllato nello spazio dei giunti. Sono stati infine condotti test imponendo diversi valori della forza di contatto e variando le proprietà fisiche degli oggetti con cui il robot interagisce (con particolare attenzione verso i corpi morbidi). Come risultato, la piattaforma scelta, AMBF, è stata modificata e fornisce ora tutte le informazioni cinematiche e dinamiche necessarie per il tuning e il testing del controllo del robot nella sua interazione con i tessuti umani. In particolare, controlli ibridi in forza e posizione applicati al Patient Side Manipulator del da Vinci sono stati implementati e studiati nel contatto del robot con altri oggetti simulati. L’utilizzo di tali algoritmi e l’impiego del suddetto framework, opportunamente modificato, apre la strada ad algoritmi di controllo della forza ancor più complessi basati ad esempio sul machine learning e tali da adattarsi alle proprietà dello specifico tessuto. Ciò porterà, in passi successivi del progetto, allo sviluppo di un controllo della forza ancor più affidabile, indispensabile per muovere la sonda su un corpo morbido dalle caratteristiche ignote, come avviene nelle scansioni a ultrasuoni.