Dynamic tool compensation in a bilateral telemanipulation system for neurosurgery

Minimally invasive surgery (MIS) procedure has influenced modern surgery by decreasing invasiveness, minimizing patient recovery, time and cost. However, surgical procedures using long tool inserted through small ports on the body deprive surgeons of the depth perception, dexterity, sense of touch, and straightforward hand-eye coordination that they are accustomed in open surgery. Robotic Minimally Invasive Surgery (RMIS) via Telemanipulation is a promising approach to overcame this drawbacks. Telemanipulation system provides the capacity to perform surgery on a patient at a remote location. It enables a human operator to interact with a remote environment and perform his task with the aid of master and slave devices. Telemanipulation offers several key potential advantages over traditional MIS: • improves accuracy filtering of unnecessary or unwanted surgeon movements, especially hand tremor; • provides advantages giving the surgeon the option of scaling down macroscopic hand motions or scaling up remote forces; • provides articulated wrist-like micro-robotic or actuated instruments attachment at the end of the instruments for conducting micro-nano scale surgery with additional degrees of freedom (DoFs) that give back full dexterity inside the human body; • The surgeon may become less tired during long surgery when sitting at a comfortable and ergonomic console rather than having to stand by the bedside; Currently the research on the telemanipulation system in neurosurgery focuses the attention on the force feedback and of how important it is for the surgeon to perceive the sensation of touch away from the surgical site. Loss of haptic feedback in RMIS procedure could be a disadvantage to surgeon, since they are conventionally used to palpating tissue to diagnose tissues as normal or abnormal. Moreover, without environmental force feedback, the surgeon would need to interpret the tissue deformation and behaviour to judge the force exerted on the environment, which consumes time and causes mental fatigue. Therefore, the need exists to incorporate force feedback into Telemanipulation Surgery and provides an excellent opportunity to improve the quality of the surgical procedure. In the current robotic neurosurgical system, only neuroArm enhances haptic feedback. In a telemanipulation system, the time delays in the communication is an important issue subject to research, due to the exchange of information between the master and slave devices, in terms of pose or force. Delays exist for information transport and data processing. Surgeon must be aware that communication delays may introduce problems to their system. As results the performance of the teleoperated system may deteriorate drastically and may possibly become unstable. In this project we present a bilateral telemanipulation system, which consists of a 6 Degrees of Freedom (DoFs) haptic interface (PHANToM Omni, Geomagic, Morrisville, NC 27560, USA) as master device and 7 DoFs robotic arm (LightWeightRobot 4+, KUKA, Augsburg, Germany) as slave device. A surgical instrument is placed on the slave device and the external force sensor (Nano25, ATI Industrial Automatation, Goodworth Dr. | Apex, NC 27539 USA ) has the purpose of measuring interaction forces and torques of the surgical instrument with the tissues. These forces are reproduced by the haptic interface on the hand of the surgeon. The force sensor cannot be placed on the tip of the surgical tool to prevent electronics from entering the patient and for reasons of size and sterility. Hence, in the bilateral telemanipulation system presented it is located between the end-effector of the slave arm and the surgical instrument. However, in this configuration the force sensor, during a surgical procedure, does not feel only the contact forces of the surgical tool with the tissues, but in addition it feels also the weight of the tool, which is dynamically exerting force on the force sensor. The overall forces measured (weight of the tool and interaction with the environment) are reproduced by the haptic interface. The aim of the presented thesis is to dynamically compensate the weight of a generic tool measured by the force sensor during a telemanipulation procedure, in order to feel on the haptic interface only the contact forces of the instrument with the tissues. The dynamic tool compensation algorithm described estimates the force and torque exerted by a known geometry tool attached to the force sensor and removes them form the overall force and torque measured by the force sensor. The equations used to estimate the forces and torques generated by a generic surgical instrument are derived from the basic laws of dynamics that describe the motion of a rigid body due to external forces and torques. Once the force measured by the force sensor is compensated, it is sent to the haptic interface, in order to be reproduced at the hand of the surgeon. The analysis executed on the telemanipulation system evaluates the communication delays and it is carried out recording the positon of both slave and master end-effector with an optical tracking system. It evaluates the communication delay between the movement controlled by the haptic interface and the movement tracks by the slave robot. Experimental trials on dynamic tool compensation are executed in static and dynamic condition. In the dynamic trials the slave robot with the force sensor and the tool attached to the end-effector, performs linear and angular movements. The force and torque estimation error is evaluated in both conditions. It is also evaluated, in static condition, the presence of correlation between the estimation error committed and the orientation of the force sensor and, in dynamic condition, the correlation between the acceleration of the movement and the estimation error. Results show that the presented bilateral telemanipulation system allows the dynamic compensation of a generic tool with estimation errors negligible considering the accuracy of the force sensor. While it is not possible to define a correlation between the estimation error and the force sensor orientation in static condition, there is an high positive correlation between the estimation error and the acceleration of the movements in dynamic condition. The more is high the acceleration, the more is the estimation error. The communication delays measured is below the 0.50ms. This work was realized at Nearlab, Politecnico di Milano.

La chirurgia mininvasiva ha influenzato la moderna chirurgia introducendo molti vantaggi, tra cui la minor invasività, riduzione del tempo di ricovero del paziente e conseguente diminuzione dei costi. Tuttavia, le procedure chirurgiche in cui si ultilizzano strumenti lunghi inseriti in piccole aperture sul corpo del paziente impediscono al chirurgo di percepire il senso di profondità, di tatto, la destrezza nell'eseguire il movimento e la coordinazione mano occhio, sensazioni invece comuni nella chirurgia aperta. La chirurgia mininvasiva robotica, intesa come Telemanipolazione, è vista come una promettente soluzione ai problemi sopracitati. Un sistema di telemanipolazione robotico permette al chirurgo di eseguire il task chirurgico sul paziente da remoto, attraverso l'utilizzo di un robot master ed di un robot slave, che interagisce con l'ambiente chirurgico esattamente come gli viene comandato dal robot master. La telemanipolazione offre potenziali vantaggi rispetto alla tradizionale chirurgia mininvasiva, tra cui: • aumento dell'accuratezza del movimento filtrando movimenti della mano del chirurgo non necessari o non voluti, come ad esempio il tremore della mano; • possibilità di scalare il movimento o la forza di ritorno all'interfaccia aptica: riducendo movimenti mascroscopici della mano o aumentando forze di interazione con i tessuti; • possibilità di aggiungere strumenti chirurgici che incrementano i gradi di libertà, consentendo maggiore destrezza nel movimento o che permettono di eseguire micro-nano chirurgia; • il chirurgo ha maggiore ergonomia e comfort nell'eseguire lunghi interventi seduto in una stazione di lavoro, piuttosto che restare molte ore accanto al lettino operario. Questo gli permette un minor affaticamento fisico. Attualmente la ricerca sui sistemi di telemanipolazione in neurochirurgia focalizza l'atten zione sul ritorno di forza e su quanto sia importante per il chirurgo percepire a distanza la senzazione del tatto. La mancanza di ritorno aptico in chirurgia mininvasiva robotica è uno svantaggio per il chirurgo, poichè convenzionalmente è abituato a palpare il tessuto per valutare la patologia e come agire di conseguenza. Inoltre, senza ritorno di forza il chirurgo deve interpretare la deformazione e il comportamento del tessuto con cui è a contatto per capire quali forze sta esercitando, inducendo così fatica mentale e consumo di tempo. Per i motivi precedentemente illustrati, si sente la necessità di introdurre e valorizzare il ritorno di forza in sistemi di telemanipolazione, mirando a migliorare la qualità della procedura chirurgica. Attualmente, in neurochirurgia è stato sviluppato e testato su essere umano solo un sistema con ritorno di forza, neuroArm. In un sistema di telemanipolazione, però, lo scambio di informazione tra master e slave, in termini di posa o forza, può essere accompagnato da un ritardo di comunicazione, dovuto sia alla trasmissione dei dati su rete locale, che all'elaborazione dei dati stessi. Il chirurgo deve essere a conoscenza di questo ritardo, in quanto questo può comportare deterioramento drastico del sistema di telemanipolazione e probabile instabilità del sistema. In questo progetto presentiamo un sistema di telemanipolazione costituito da: un'inter faccia aptica a 6 gradi di libertà (gdl) con il ruolo di robot master (PHANToM Omni, Geomagic, Morrisville, NC 27560, USA), e un braccio robotico a 7 gdl che si comporta da robot slave (LightWeightRobot 4+, KUKA, Augsburg, Germany). Lo strumento chirurgico usato per eseguire il task è posto sul robot slave e il sensore di forza (Nano25, ATI Industrial Automatation, Goodworth Dr. | Apex, NC 27539 USA ) ha la funzione di misurare le forze e le coppie di interazione dello strumento chirurgico con i tessuti circostanti. Queste forze sono riprodotte dall'interfaccia aptica sulla mano del chirurgo. Il sensore di forza non può essere posto sulla parte terminale dello strumento chirurgico per motivi di dimensione, sicurezza e sterilità. Così, nel sistema di telemanipolazione presentato, è situato prima dello strumento chirurgico. Tuttavia, in questa configurazione, durante una qualsiasi procedura chirurgica telemanipolata il sensore di forza misura non solo le forza di interazione dello strumento con i tessuti, ma anche il peso stesso del tool, che genera delle force sul sensore durante qualsiasi movimento. L'insieme di queste forze (dovute al peso dello strumento e al contatto con i tessuti) sono riprodotte dall'interfaccia aptica. Lo scopo di questo progetto è stimare le forze dovute al peso del tool misurate dal sensore di forza durante una procedura di telemanipolazione e compensarle dinamicamente, con il fine di far percepire al chirurgo solo le forze di interazione con l'ambiente. L'algoritmo di compensazione dinamica sviluppato stima forze e coppie esercitate da un generico strumento rigido sul sensore di forza in condizioni dinamiche e sottrae queste alle forze misurate dal sensore di forza. Una volta che le forze vengono misurate e compensate, sono pronte per essere inviate e riprodotte dall'interfaccia aptica. L'analisi eseguita per valutare il ritardo di comunicazione del sistema di telemanipoazione prevede che un sistema di localizzazione ottico registri la posizione dello strumento chirurgico posto sullo slave e la posizione dell'organo terminale del master. Test sulla compensazione dinamica del tool sono stati eseguiti sia in condizioni statiche che dinamiche. In condizioni dinamiche gli esperimenti prevedono movimenti lineari ed angolari dello slave con il sensore di forza e lo strumento chirurgico posti sull'organo terminale. L'errore della stima della forza e della coppia è valutato in entrambe le condizioni. Inoltre è stato valutato, in condizioni statiche, la presenza di correlazione tra l'errore della stima commesso e l'orientamento del sensore di forza e, in condizioni dinamiche, una correlazione tra l'errore di stima e l'accelerazione del movimento eseguito. Risultati mostrano che il sistema di telemanipolazione presentato permette di eseguire procedure di telemanipolazione con ritorno di forza e compensazione dinamica di un generico strumento chirurgico, con un errore di stima trascurabile, inferiore all'accuratezza del sensore di forza. Mentre non è possibile stabilire una correlazione tra l'errore di stima e l'orientamento del sensore di forza in condizioni statiche, è invece molto forte la correlazione tra l'errore di stima e l'accelerazione del movimento: all'aumentare del valore assoluto dell'accelerazione, aumenta l'errore. La mediana del ritardo misurato è 50 ms. Il lavoro di tesi è stato svolto presso il laboratorio Nearlab, Politecnico di Milano.