Robotic minimally invasive surgery (RAMIS) has proven to have noticeable benefits for the patients, making it a favorable approach for a wide range of surgeries and overcoming many of MIS issues like surgeon's poor vision and difficult control of the instrument's motion. To date, many efforts have been made to improve the dexterity of the slave manipulators to enable surgeons to perform more complex tasks. However, the advantages of a highly dexterous instrument may be offset by its complexity and a loss in tele-operation control with a more difficult coordination between the surgeon and the robot. The right balance between higher dexterity and intuitive control needs yet to be defined. In this study, a dexterous, anthropomorphic master has been deployed to assess and compare the efficiency of simulated anthropomorphic surgical instruments in an immersive surgical concept. A virtual surgical training task has been built using a software for graphics applications (Unity), consisting of picking up colored objects and placing them in color-correspondent boxes, placed behind tubular obstacles, which posed additional difficulty. Different tools were tested including shafts with a wrist joint or with a wrist and elbow joints, together with a standard DaVinci Grasper or a 3-fingered anthropomorphic tool. The motion of the tools were controlled using a IMUs sensors and virtual reality gloves. As in real RAMIS, we used a clutch to lock the motion of the tools and avoid uncomfortable arm poses. For a full visual immersion in 3D, we utilized an HTC Vive VR headset. For each trial the time needed to complete the task, number of collisions with the obstacles, kinematic data from the motion tracking and EMG signals from the forearm were recorded. Standard usability and workload assessment questionnaires were filled in by the participants. The study was conducted with 10 lay users with no experience in surgery and 3 trained surgeons. The results showed that a tool with an elbow joint could help to avoid obstacles better in more than 70% of cases but required more physical and mental effort. Standard workload assessment questionnaires also revealed the user perception of putting more effort in picking up the objects with the DaVinci grasper. The system was perceived differently from the trained surgeons, familiar with the DaVinci surgical system. Even with an initial struggle, most of the users could quickly adapt to the system. In fact, the best performance (90% of users) was achieved when using the wristed or elbowed tool for the second time, despite the order of the tasks.

La chirurgia mini-invasiva ha dimostrato di avere evidenti benefici per i pazienti, rendendola un approccio favorevole per un ampio numero di operazioni. Tuttavia, i potenziali vantaggi sono ostacolati dalla diminuita visione del chirurgo e dalla difficoltà nel controllare il movimento degli strumenti. L'avvento di sistemi robotici di assistenza alla chirurgia mini-invasiva hanno marcato un passo decisivo nella sua evoluzione, superando molte delle sue limitazioni e portando a tempi di operazione ridotti, compensazione dell'effetto fulcro e migliore destrezza. Ad oggi, molti sforzi sono stati fatti per migliorare la destrezza degli strumenti e permettere al chirurgo operazioni più complesse. Spesso, però, i vantaggi di uno strumento chirurgico altamente articolato possono essere messi in secondo piano dalla suà complessità ed una conseguente perdita di controllo, con maggiore difficoltà di coordinamento tra mani e strumento. Il giusto bilancio tra destrezza e controllo intuitivo non è stato ancora ben definito. In questo studio, un sistema di controllo antropomorfo, agile e adattabile è stato utilizzato per controllare e testare strumenti chirurgici simulati in un concept altamente immersivo, per valutare e comparare la destrezza di tali strumenti, assieme alla intuitività del controllo stesso. Per testare ciò, è stato costruito un ambiente virtuale che rispecchia le simulazioni di formazione per i chirurghi, utilizzando un software per la programmazione di giochi e applicazioni grafiche (Unity). Gli strumenti testati includono: un'asta rigida con un'articolazione al polso e uno strumento più articolato con sia un'articolazione a polso che una a gomito. Entrambe le aste articolate sono state testate con uno strumento DaVinci per l'afferraggio e uno strumento antropomorfo con 3 dita articolate. Il movimento degli strumenti all'interno della simulazione è controllato usando Xsens (Xsens Technologies), con sensori IMU posizionati sulle braccia dell'utilizzatore per tracciarne il movimento. L'apertura e chiusura degli afferraggi (sia Davinci che quello a 3 dita), sono controllate grazie a due guanti Manus VR. Come in un sistema chirurgico reale (DaVinci robot, Intuitive Surgical Inc.), è stato utilizzato un pedale per bloccare il movimento degli strumenti ed evitare malposizionamenti della parte superiore del corpo e delle braccia. Per una totale immersività, è stato utilizzato un visore per la realtà virtuale HTC Vive. E' stata progettata una particolare simulazione che prevede l'afferragio di cubi colorati e il loro posizionamento su di una piattaforma del colore corrispondente, utilizzando il braccio destro o sinistro. Le piattaforme sono posizionate dietro ad ostacoli tubulari, che aggiungono un'ulteriore difficoltà nel manovrare gli strumenti. Ai partecipanti è richiesto di completare la simulazione utilizzando le combinazioni di strumenti corrispondenti: articolazione a polso con afferraggio Davinci o a 3 dita (W_DV e W_3F) oppure articolazione a polso e articolazione a gomito con afferraggio Davinci o a 3 dita (E_DV e E_3F), in ordine casuale. Per ogni simulazione, il tempo necessario a completarla e il nnumero di collisioni con gli ostacoli è stato misurato, assieme a dati cinematici dai sensori IMU e ad una registrazione di segnali elettromiografici (EMG) dall'avambraccio. Dopo ciascuna simulazione è stato chiesto ai partecipanti di compilare dei questionari standard per la valutazione del carico lavorativo e dell'utilizzabilità del sistema, oltre ad un questionario per ottenere opinioni generali sulla simulazione. SUS è stato scelto per valutare l'usabilità, NASA TLX per valutare il carico fisico e mentale. Lo studio è stato condotto su 10 partecipanti senza alcuna esperienza in campo chirurgico e da 3 clinici esperti nell'uso del DaVinci all'ospedale di SouthMead, in Bristol. I risultati hanno dimostrato che l'approccio al completamento della simulazione è differente per ogni utente. Il confronto del movimento utilizzando gli strumenti articolati proposti ha mostrato che uno strumento più complesso (con un'articolazione a gomito) ha permesso di evitare meglio gli ostacoli nel 70% dei casi. Tuttavia, tale articolazione è stata valutata come più naturale solo da 4/10 utenti, perchè più simili al braccio umano. Per gli altri, la preferenza è stata per uno strumento più semplice. L'analisi dei segnali EMG ha rivelato un'aspettato aumento di attività, in termini di ampiezza del segnale, per strumenti più complessi. I questionari hanno riportato un maggiore sforzo nell'utilizzo dell'afferraggio DaVinci per raccogliere gli oggetti, mentre per quanto riguarda l'asta, il 60% dei partecipanti ha ritenuto meno laborioso l'utilizzo di uno strumento più semplice, anziché di uno con entrambe le articolazioni. Il sistema è stato percepito differentemente dai chirurghi, poiché abituati ad un diverso sistema per la chirurgia robotica (DaVinci). Malgrado ciò, si è visto che, nonostante la difficoltà iniziale, la maggior parte dei partecipanti si è adattata velocemente al sistema. È infatti vero che la miglior performance per il 90% dei casi è stata raggiunta la seconda volta nell'utilizzo di una tipologia di articolazione, nonostante l'ordine delle simulazioni fosse casuale. Ciò significa che un allenamento è essenziale per padroneggiare questa tipologia di sistema, ma il tempo richiesto per farlo può essere notevolmente ridotto.

Study on dexterity of surgical robotic tools in a highly immersive concept

DANIONI, ANDREA
2018/2019

Abstract

Robotic minimally invasive surgery (RAMIS) has proven to have noticeable benefits for the patients, making it a favorable approach for a wide range of surgeries and overcoming many of MIS issues like surgeon's poor vision and difficult control of the instrument's motion. To date, many efforts have been made to improve the dexterity of the slave manipulators to enable surgeons to perform more complex tasks. However, the advantages of a highly dexterous instrument may be offset by its complexity and a loss in tele-operation control with a more difficult coordination between the surgeon and the robot. The right balance between higher dexterity and intuitive control needs yet to be defined. In this study, a dexterous, anthropomorphic master has been deployed to assess and compare the efficiency of simulated anthropomorphic surgical instruments in an immersive surgical concept. A virtual surgical training task has been built using a software for graphics applications (Unity), consisting of picking up colored objects and placing them in color-correspondent boxes, placed behind tubular obstacles, which posed additional difficulty. Different tools were tested including shafts with a wrist joint or with a wrist and elbow joints, together with a standard DaVinci Grasper or a 3-fingered anthropomorphic tool. The motion of the tools were controlled using a IMUs sensors and virtual reality gloves. As in real RAMIS, we used a clutch to lock the motion of the tools and avoid uncomfortable arm poses. For a full visual immersion in 3D, we utilized an HTC Vive VR headset. For each trial the time needed to complete the task, number of collisions with the obstacles, kinematic data from the motion tracking and EMG signals from the forearm were recorded. Standard usability and workload assessment questionnaires were filled in by the participants. The study was conducted with 10 lay users with no experience in surgery and 3 trained surgeons. The results showed that a tool with an elbow joint could help to avoid obstacles better in more than 70% of cases but required more physical and mental effort. Standard workload assessment questionnaires also revealed the user perception of putting more effort in picking up the objects with the DaVinci grasper. The system was perceived differently from the trained surgeons, familiar with the DaVinci surgical system. Even with an initial struggle, most of the users could quickly adapt to the system. In fact, the best performance (90% of users) was achieved when using the wristed or elbowed tool for the second time, despite the order of the tasks.
DOGRAMADZI, SANJA
ING - Scuola di Ingegneria Industriale e dell'Informazione
29-apr-2020
2018/2019
La chirurgia mini-invasiva ha dimostrato di avere evidenti benefici per i pazienti, rendendola un approccio favorevole per un ampio numero di operazioni. Tuttavia, i potenziali vantaggi sono ostacolati dalla diminuita visione del chirurgo e dalla difficoltà nel controllare il movimento degli strumenti. L'avvento di sistemi robotici di assistenza alla chirurgia mini-invasiva hanno marcato un passo decisivo nella sua evoluzione, superando molte delle sue limitazioni e portando a tempi di operazione ridotti, compensazione dell'effetto fulcro e migliore destrezza. Ad oggi, molti sforzi sono stati fatti per migliorare la destrezza degli strumenti e permettere al chirurgo operazioni più complesse. Spesso, però, i vantaggi di uno strumento chirurgico altamente articolato possono essere messi in secondo piano dalla suà complessità ed una conseguente perdita di controllo, con maggiore difficoltà di coordinamento tra mani e strumento. Il giusto bilancio tra destrezza e controllo intuitivo non è stato ancora ben definito. In questo studio, un sistema di controllo antropomorfo, agile e adattabile è stato utilizzato per controllare e testare strumenti chirurgici simulati in un concept altamente immersivo, per valutare e comparare la destrezza di tali strumenti, assieme alla intuitività del controllo stesso. Per testare ciò, è stato costruito un ambiente virtuale che rispecchia le simulazioni di formazione per i chirurghi, utilizzando un software per la programmazione di giochi e applicazioni grafiche (Unity). Gli strumenti testati includono: un'asta rigida con un'articolazione al polso e uno strumento più articolato con sia un'articolazione a polso che una a gomito. Entrambe le aste articolate sono state testate con uno strumento DaVinci per l'afferraggio e uno strumento antropomorfo con 3 dita articolate. Il movimento degli strumenti all'interno della simulazione è controllato usando Xsens (Xsens Technologies), con sensori IMU posizionati sulle braccia dell'utilizzatore per tracciarne il movimento. L'apertura e chiusura degli afferraggi (sia Davinci che quello a 3 dita), sono controllate grazie a due guanti Manus VR. Come in un sistema chirurgico reale (DaVinci robot, Intuitive Surgical Inc.), è stato utilizzato un pedale per bloccare il movimento degli strumenti ed evitare malposizionamenti della parte superiore del corpo e delle braccia. Per una totale immersività, è stato utilizzato un visore per la realtà virtuale HTC Vive. E' stata progettata una particolare simulazione che prevede l'afferragio di cubi colorati e il loro posizionamento su di una piattaforma del colore corrispondente, utilizzando il braccio destro o sinistro. Le piattaforme sono posizionate dietro ad ostacoli tubulari, che aggiungono un'ulteriore difficoltà nel manovrare gli strumenti. Ai partecipanti è richiesto di completare la simulazione utilizzando le combinazioni di strumenti corrispondenti: articolazione a polso con afferraggio Davinci o a 3 dita (W_DV e W_3F) oppure articolazione a polso e articolazione a gomito con afferraggio Davinci o a 3 dita (E_DV e E_3F), in ordine casuale. Per ogni simulazione, il tempo necessario a completarla e il nnumero di collisioni con gli ostacoli è stato misurato, assieme a dati cinematici dai sensori IMU e ad una registrazione di segnali elettromiografici (EMG) dall'avambraccio. Dopo ciascuna simulazione è stato chiesto ai partecipanti di compilare dei questionari standard per la valutazione del carico lavorativo e dell'utilizzabilità del sistema, oltre ad un questionario per ottenere opinioni generali sulla simulazione. SUS è stato scelto per valutare l'usabilità, NASA TLX per valutare il carico fisico e mentale. Lo studio è stato condotto su 10 partecipanti senza alcuna esperienza in campo chirurgico e da 3 clinici esperti nell'uso del DaVinci all'ospedale di SouthMead, in Bristol. I risultati hanno dimostrato che l'approccio al completamento della simulazione è differente per ogni utente. Il confronto del movimento utilizzando gli strumenti articolati proposti ha mostrato che uno strumento più complesso (con un'articolazione a gomito) ha permesso di evitare meglio gli ostacoli nel 70% dei casi. Tuttavia, tale articolazione è stata valutata come più naturale solo da 4/10 utenti, perchè più simili al braccio umano. Per gli altri, la preferenza è stata per uno strumento più semplice. L'analisi dei segnali EMG ha rivelato un'aspettato aumento di attività, in termini di ampiezza del segnale, per strumenti più complessi. I questionari hanno riportato un maggiore sforzo nell'utilizzo dell'afferraggio DaVinci per raccogliere gli oggetti, mentre per quanto riguarda l'asta, il 60% dei partecipanti ha ritenuto meno laborioso l'utilizzo di uno strumento più semplice, anziché di uno con entrambe le articolazioni. Il sistema è stato percepito differentemente dai chirurghi, poiché abituati ad un diverso sistema per la chirurgia robotica (DaVinci). Malgrado ciò, si è visto che, nonostante la difficoltà iniziale, la maggior parte dei partecipanti si è adattata velocemente al sistema. È infatti vero che la miglior performance per il 90% dei casi è stata raggiunta la seconda volta nell'utilizzo di una tipologia di articolazione, nonostante l'ordine delle simulazioni fosse casuale. Ciò significa che un allenamento è essenziale per padroneggiare questa tipologia di sistema, ma il tempo richiesto per farlo può essere notevolmente ridotto.
Tesi di laurea Magistrale
File allegati
File Dimensione Formato  
Study on Dexterity of Surgical Robotic Tools in a Highly Immersive Concept.pdf

accessibile in internet per tutti

Descrizione: Thesis text
Dimensione 29.81 MB
Formato Adobe PDF
29.81 MB Adobe PDF Visualizza/Apri

I documenti in POLITesi sono protetti da copyright e tutti i diritti sono riservati, salvo diversa indicazione.

Utilizza questo identificativo per citare o creare un link a questo documento: https://hdl.handle.net/10589/166778