In this work a virtual reality and haptic simulator for training in Sacral Neuromodulation is preseted. The aim of the project, developed between the Mixed Reality Laboratory (University of Illinois at Chicago), in collaboration with the Department of Urology (School of Medicine - University of Illinois at Chicago), and the Neuroengineering and Robotics Laboratory (Politecnico di Milano), is to contribute to the medical and surgical education field, which lacks a specifically designed system to train student and residents on Sacral Neuromodulation, with a system that allows to work in a safe and realistic environment exploiting virtual reality and tactile feedback from an haptic device. The surgical operation consists in the percutaneous access to the sacral nerve root with a needle on a sedated patient, through the anterior foramen of S3, the third vertebra of the sacrum. After the access, a small incision in made to let a rigid guide be inserted along the needle, with its position checked through a radiomarker. Later, the needle is extracted and the electrode lead of the device is inserted through the guide, aiming to lay it along the nerve. The first access is the critical phase, because it requires a lot of skill by the surgeon to find the correct entrance spot and angle to reach the nerve root; everything is done under fluoroscopy guidance, in particular the insertion of the needle, which is radio-opaque. To check if the position of the needle is correct, after the insertion, electrical pulses are delivered through it; if the access is successful, the patient's body will react bending the toe and contracting its anal sphincter. It will be the surgeon's job to evaluate the patient's response to understand if the spot reached is correct. Thanks to the versatility of virtual reality it is possible to create anatomical models from volumetric images like CT (used in this project) or magnetic resonance and insert them in an environment to have a safe and reproducible training facility. Combining this with an haptic device that let the user interact with it, the realism of this facility is increased because the trainee can actually touch the virtual objects. Before the development, high level specifications of a system for medical training were identified: anatomical accuracy of the model; realism, to give the trainee a similar feeling to a real operative room; safety for patient, trainer and trainee; user friendliness; measurable performance; reproducibility of the sessions; economical viability and relevancy. The cornerstone for the development of the application is LACE_Library, a C++ library that allow to handle graphic and haptic parts in an application developed between the above mentioned laboratories. Contribution to the library has been brought mostly in terms of debugging and improvements of some features. The haptic device used is the Touch by 3DSystems, with 3 degrees of freedom for the force (it can't apply torque) and 6 for the position. The user workflow in the application is designed in three phases that reproduce the real operation, even though the main focus is on the first phase, i.e. the access with the needle. These phases are the percutaneous access, the insertion of the guide and the insertion of the electrode lead. To reproduce as closely as possible the real operation, the application features also: a simulation of the fluoroscopy imaging, with both sagittal and antero-posterior views; a simulation of the test to check the position of the needle and the electrode delivering electrical pulses, interpreting the patient's reactions; a graphic user interface, to tune graphical and functional properties, like the intensity of the pulses delivered to test the position; outputs with the performance of the trainee, in terms of total time of the procedure, fluoroscopy time, touches on the periosteum, distance from the ideal spot. To test the application, 15 biomedical engineering master student has been recruited. They has been asked to perform some tasks with the application, focusing on the percutaneous access. The test has been repeated twice for each subject, their performance has been recorded twice and eventually they have been submitted a questionnaire to evaluate the system. The results obtained from the records show a general better performance during the second repetition. The outcome of the work is hence a system that allows to simulate the relevant aspects of the procedure respecting as much as possible the specifications identified. From the results of the tests it can be seen how the major strengths are the implementation of the environment and the tools available to the trainee, like the fluoroscopy and the simulation of the test. However, some aspects need to be improved, in particular the user friendliness. In conclusion, the system developed offers a first prototype of the a working system, immediately usable, that perhaps requires some other work before being included in the curricular training of urologists. It also present the possibility to be a valuable basis for the development of other systems, like similar simulators for different surgical operations or for surgical planning of sacral neuromodulation.

Nel seguente lavoro viene presentato un sistema aptico di simulazione in realtà virtuale per training chirurgico sull'impianto di dispositivi di neuromodulazione sacrale per via percutanea. Lo scopo del progetto, portato avanti tra il Mixed Reality Laboratory della University of Illinois at Chicago, in collaborazione con il Dipartimento di Urologia della suddetta, ed il Neuroengineering and Robotics Laboratory del Politecnico di Milano, è quello di contribuire al campo dell'educazione medica e chirurgica sviluppando un sistema che renda possibile la simulazione in ambiente virtuale di una procedura di impianto di un neuromodulatore sacrale, utilizzando un dispositivo che permetta all'utente di percepire una retroazione tattile del modello virtuale di paziente con cui sta interagendo, laddove esiste una lacuna: al momento infatti non sono descritti in letteratura dispositivi o applicazioni pensati in modo specifico per imparare tale operazione. L'intervento consiste, con paziente sedato, nell'accesso percutaneo al nervo sacro attraverso un forame anteriore di S3, dopodiché viene praticata una piccola incisione e sopra l'ago viene infilata una guida con un radio marker che ne guiderà il posizionamento; infine l'ago è estratto dalla guida ed è inserito l'elettrodo. L'accesso tramite ago richiede notevole capacità di valutare il corretto punto da cui partire ma soprattutto il corretto angolo che permetta di seguire il decorso del forame ed arrivare al corretto punto sul nervo, evitando accuratamente di toccare il periostio. Per verificare che l'ago sia posizionato nel modo corretto, il chirurgo invia impulsi elettrici che, se la posizione è corretta, generano due reazioni nel paziente: la contrazione dello sfintere anale e la flessione dell'alluce. Sta al chirurgo valutare che la risposta sia adeguata o meno. Stessa procedura è necessaria dopo aver introdotto l'elettrodo. Grazie alla versatilità della realtà virtuale è infatti possibile creare dei modelli di paziente da immagini anatomiche volumetriche come TAC, soluzione usata in questo progetto, o risonanze magnetiche, in modo da avere la possibilità di creare un ambiente di allenamento sicuro, potenzialmente infinitamente vario e ripetibile. A ciò si aggiunge l'utilizzo di un dispositivo aptico, che permettendo all'utente di percepire la rigidezza e le proprietà dei modelli con cui sta interagendo, fornisce un'ulteriore grado di realismo al sistema. Precedentemente allo sviluppo vero e proprio sono state identificate delle specifiche che un sistema con tali obiettivi ed in generale un sistema progettato per il training chirurgico; questo comprendono: accuratezza anatomica dei modelli; realismo del sistema, ovvero l'utente deve poter direttamente trasferire ciò che impara in una situazione reale; sicurezza per paziente, apprendista ed insegnante, con il rischio di infortunio ed esposizione a situazioni di pericolo minimizzati; versatilità, in termini di diversificazione del training su diversi pazienti; facilità di utilizzo da parte dell'utente; capacità di fornire un riscontro sulla performance; riproducibilità delle sessioni senza degradazioni; rapporto costi/qualità del sistema favorevole. Per la realizzazione dell'ambiente virtuale è stato utilizzata una libreria, LACE\_Library, precedentemente sviluppata in una collaborazione tra i due laboratori citati poco sopra, che consente di sviluppare applicazioni in realtà virtuale che includano dispositivi aptici. Un contributo al miglioramento di questo strumento è stato fornito durante il lavoro, soprattutto a livello di debugging. L'applicazione è scritta in linguaggio C++. Il dispositivo aptico utilizzato è un Touch 3DSystems, con 3 gradi di libertà per quanto riguarda il feedback tattile e 6 per il posizionamento. Il flusso di lavoro dell'utente che utilizza l'applicazione è diviso in tre fasi: accesso percutaneo alla radice del nervo, inserimento della guida e posizionamento del vettore di elettrodi. La prima, secondo il parere degli esperti urologi che hanno partecipato al progetto, è quella che presenta le maggiori criticità. Per ricreare un'esperienza il più simile possibile all'operazione reale, l'applicazione presenta: una simulazione della fluoroscopia, con viste sagittale ed antero-posteriore, che permettono di trovare il corretto punto di accesso ed il corretto angolo; una simulazione delle reazioni del paziente alla stimolazione test, basata su intensità dell'impulso elettrico e la distanza dal punto corretto di applicazione; un'interfaccia grafica che permette all'apprendista di regolare alcuni aspetti grafici e funzionali come l'intensità dell'impulso; output che permettono di valutare la prestazione dell'utente, come tempo impiegato, tempo di utilizzo della fluoroscopia, numero di interazioni con il periostio adiacente alla zona da accedere, distanza dal posizionamento ideale. Per testare il risultato dello sviluppo, quindici studenti del corso magistrale di ingegneria biomedica sono stati coinvolti con il fine di far provare l'applicazione a soggetti inesperti ed analizzare le loro performance, oltre che collezionare le loro valutazioni tramite un test standard volto a valutare l'usabilità del sistema. I risultati ottenuti dopo due osservazioni della stessa procedura per ogni soggetto mostrano un miglioramento generale nella seconda ripetizione, quando la familiarità con il sistema aumenta. Il risultato finale del lavoro è dunque un sistema che permette di simulare tutti gli aspetti rilevanti dell'operazione, cercando di rispettare le specifiche identificate prima dello sviluppo. Dai risultati dei test si può evincere come gli aspetti di forza sono l'implementazione degli strumenti di ausilio alla procedura e la coerenza con ciò che viene fatto nell'operazione reale, mentre è da migliorare la facilità d'uso. In conclusione, il sistema sviluppato si configura come un prototipo funzionante ed immediatamente utilizzabile, che però necessità ulteriore lavoro prima di poter essere inserito all'interno di un programma curricolare di educazione medica specialistica. Fornisce però la possibilità di sviluppi futuri di ampio raggio, potendo anche essere sfruttato per la programmazione di interventi oppure usato come base per lo sviluppo di simulatori simili.

Haptic virtual reality training simulator for sacral neuromodulation surgery : a feasibility study

CRESPI, LEONARDO
2017/2018

Abstract

In this work a virtual reality and haptic simulator for training in Sacral Neuromodulation is preseted. The aim of the project, developed between the Mixed Reality Laboratory (University of Illinois at Chicago), in collaboration with the Department of Urology (School of Medicine - University of Illinois at Chicago), and the Neuroengineering and Robotics Laboratory (Politecnico di Milano), is to contribute to the medical and surgical education field, which lacks a specifically designed system to train student and residents on Sacral Neuromodulation, with a system that allows to work in a safe and realistic environment exploiting virtual reality and tactile feedback from an haptic device. The surgical operation consists in the percutaneous access to the sacral nerve root with a needle on a sedated patient, through the anterior foramen of S3, the third vertebra of the sacrum. After the access, a small incision in made to let a rigid guide be inserted along the needle, with its position checked through a radiomarker. Later, the needle is extracted and the electrode lead of the device is inserted through the guide, aiming to lay it along the nerve. The first access is the critical phase, because it requires a lot of skill by the surgeon to find the correct entrance spot and angle to reach the nerve root; everything is done under fluoroscopy guidance, in particular the insertion of the needle, which is radio-opaque. To check if the position of the needle is correct, after the insertion, electrical pulses are delivered through it; if the access is successful, the patient's body will react bending the toe and contracting its anal sphincter. It will be the surgeon's job to evaluate the patient's response to understand if the spot reached is correct. Thanks to the versatility of virtual reality it is possible to create anatomical models from volumetric images like CT (used in this project) or magnetic resonance and insert them in an environment to have a safe and reproducible training facility. Combining this with an haptic device that let the user interact with it, the realism of this facility is increased because the trainee can actually touch the virtual objects. Before the development, high level specifications of a system for medical training were identified: anatomical accuracy of the model; realism, to give the trainee a similar feeling to a real operative room; safety for patient, trainer and trainee; user friendliness; measurable performance; reproducibility of the sessions; economical viability and relevancy. The cornerstone for the development of the application is LACE_Library, a C++ library that allow to handle graphic and haptic parts in an application developed between the above mentioned laboratories. Contribution to the library has been brought mostly in terms of debugging and improvements of some features. The haptic device used is the Touch by 3DSystems, with 3 degrees of freedom for the force (it can't apply torque) and 6 for the position. The user workflow in the application is designed in three phases that reproduce the real operation, even though the main focus is on the first phase, i.e. the access with the needle. These phases are the percutaneous access, the insertion of the guide and the insertion of the electrode lead. To reproduce as closely as possible the real operation, the application features also: a simulation of the fluoroscopy imaging, with both sagittal and antero-posterior views; a simulation of the test to check the position of the needle and the electrode delivering electrical pulses, interpreting the patient's reactions; a graphic user interface, to tune graphical and functional properties, like the intensity of the pulses delivered to test the position; outputs with the performance of the trainee, in terms of total time of the procedure, fluoroscopy time, touches on the periosteum, distance from the ideal spot. To test the application, 15 biomedical engineering master student has been recruited. They has been asked to perform some tasks with the application, focusing on the percutaneous access. The test has been repeated twice for each subject, their performance has been recorded twice and eventually they have been submitted a questionnaire to evaluate the system. The results obtained from the records show a general better performance during the second repetition. The outcome of the work is hence a system that allows to simulate the relevant aspects of the procedure respecting as much as possible the specifications identified. From the results of the tests it can be seen how the major strengths are the implementation of the environment and the tools available to the trainee, like the fluoroscopy and the simulation of the test. However, some aspects need to be improved, in particular the user friendliness. In conclusion, the system developed offers a first prototype of the a working system, immediately usable, that perhaps requires some other work before being included in the curricular training of urologists. It also present the possibility to be a valuable basis for the development of other systems, like similar simulators for different surgical operations or for surgical planning of sacral neuromodulation.
LUCIANO, CRISTIAN
ING - Scuola di Ingegneria Industriale e dell'Informazione
20-dic-2018
2017/2018
Nel seguente lavoro viene presentato un sistema aptico di simulazione in realtà virtuale per training chirurgico sull'impianto di dispositivi di neuromodulazione sacrale per via percutanea. Lo scopo del progetto, portato avanti tra il Mixed Reality Laboratory della University of Illinois at Chicago, in collaborazione con il Dipartimento di Urologia della suddetta, ed il Neuroengineering and Robotics Laboratory del Politecnico di Milano, è quello di contribuire al campo dell'educazione medica e chirurgica sviluppando un sistema che renda possibile la simulazione in ambiente virtuale di una procedura di impianto di un neuromodulatore sacrale, utilizzando un dispositivo che permetta all'utente di percepire una retroazione tattile del modello virtuale di paziente con cui sta interagendo, laddove esiste una lacuna: al momento infatti non sono descritti in letteratura dispositivi o applicazioni pensati in modo specifico per imparare tale operazione. L'intervento consiste, con paziente sedato, nell'accesso percutaneo al nervo sacro attraverso un forame anteriore di S3, dopodiché viene praticata una piccola incisione e sopra l'ago viene infilata una guida con un radio marker che ne guiderà il posizionamento; infine l'ago è estratto dalla guida ed è inserito l'elettrodo. L'accesso tramite ago richiede notevole capacità di valutare il corretto punto da cui partire ma soprattutto il corretto angolo che permetta di seguire il decorso del forame ed arrivare al corretto punto sul nervo, evitando accuratamente di toccare il periostio. Per verificare che l'ago sia posizionato nel modo corretto, il chirurgo invia impulsi elettrici che, se la posizione è corretta, generano due reazioni nel paziente: la contrazione dello sfintere anale e la flessione dell'alluce. Sta al chirurgo valutare che la risposta sia adeguata o meno. Stessa procedura è necessaria dopo aver introdotto l'elettrodo. Grazie alla versatilità della realtà virtuale è infatti possibile creare dei modelli di paziente da immagini anatomiche volumetriche come TAC, soluzione usata in questo progetto, o risonanze magnetiche, in modo da avere la possibilità di creare un ambiente di allenamento sicuro, potenzialmente infinitamente vario e ripetibile. A ciò si aggiunge l'utilizzo di un dispositivo aptico, che permettendo all'utente di percepire la rigidezza e le proprietà dei modelli con cui sta interagendo, fornisce un'ulteriore grado di realismo al sistema. Precedentemente allo sviluppo vero e proprio sono state identificate delle specifiche che un sistema con tali obiettivi ed in generale un sistema progettato per il training chirurgico; questo comprendono: accuratezza anatomica dei modelli; realismo del sistema, ovvero l'utente deve poter direttamente trasferire ciò che impara in una situazione reale; sicurezza per paziente, apprendista ed insegnante, con il rischio di infortunio ed esposizione a situazioni di pericolo minimizzati; versatilità, in termini di diversificazione del training su diversi pazienti; facilità di utilizzo da parte dell'utente; capacità di fornire un riscontro sulla performance; riproducibilità delle sessioni senza degradazioni; rapporto costi/qualità del sistema favorevole. Per la realizzazione dell'ambiente virtuale è stato utilizzata una libreria, LACE\_Library, precedentemente sviluppata in una collaborazione tra i due laboratori citati poco sopra, che consente di sviluppare applicazioni in realtà virtuale che includano dispositivi aptici. Un contributo al miglioramento di questo strumento è stato fornito durante il lavoro, soprattutto a livello di debugging. L'applicazione è scritta in linguaggio C++. Il dispositivo aptico utilizzato è un Touch 3DSystems, con 3 gradi di libertà per quanto riguarda il feedback tattile e 6 per il posizionamento. Il flusso di lavoro dell'utente che utilizza l'applicazione è diviso in tre fasi: accesso percutaneo alla radice del nervo, inserimento della guida e posizionamento del vettore di elettrodi. La prima, secondo il parere degli esperti urologi che hanno partecipato al progetto, è quella che presenta le maggiori criticità. Per ricreare un'esperienza il più simile possibile all'operazione reale, l'applicazione presenta: una simulazione della fluoroscopia, con viste sagittale ed antero-posteriore, che permettono di trovare il corretto punto di accesso ed il corretto angolo; una simulazione delle reazioni del paziente alla stimolazione test, basata su intensità dell'impulso elettrico e la distanza dal punto corretto di applicazione; un'interfaccia grafica che permette all'apprendista di regolare alcuni aspetti grafici e funzionali come l'intensità dell'impulso; output che permettono di valutare la prestazione dell'utente, come tempo impiegato, tempo di utilizzo della fluoroscopia, numero di interazioni con il periostio adiacente alla zona da accedere, distanza dal posizionamento ideale. Per testare il risultato dello sviluppo, quindici studenti del corso magistrale di ingegneria biomedica sono stati coinvolti con il fine di far provare l'applicazione a soggetti inesperti ed analizzare le loro performance, oltre che collezionare le loro valutazioni tramite un test standard volto a valutare l'usabilità del sistema. I risultati ottenuti dopo due osservazioni della stessa procedura per ogni soggetto mostrano un miglioramento generale nella seconda ripetizione, quando la familiarità con il sistema aumenta. Il risultato finale del lavoro è dunque un sistema che permette di simulare tutti gli aspetti rilevanti dell'operazione, cercando di rispettare le specifiche identificate prima dello sviluppo. Dai risultati dei test si può evincere come gli aspetti di forza sono l'implementazione degli strumenti di ausilio alla procedura e la coerenza con ciò che viene fatto nell'operazione reale, mentre è da migliorare la facilità d'uso. In conclusione, il sistema sviluppato si configura come un prototipo funzionante ed immediatamente utilizzabile, che però necessità ulteriore lavoro prima di poter essere inserito all'interno di un programma curricolare di educazione medica specialistica. Fornisce però la possibilità di sviluppi futuri di ampio raggio, potendo anche essere sfruttato per la programmazione di interventi oppure usato come base per lo sviluppo di simulatori simili.
Tesi di laurea Magistrale
File allegati
File Dimensione Formato  
Tesi.pdf

accessibile in internet per tutti

Dimensione 4.04 MB
Formato Adobe PDF
4.04 MB Adobe PDF Visualizza/Apri

I documenti in POLITesi sono protetti da copyright e tutti i diritti sono riservati, salvo diversa indicazione.

Utilizza questo identificativo per citare o creare un link a questo documento: https://hdl.handle.net/10589/145160