Training in robot-assisted surgery : a novel experimental setup for skill transfer evaluation

The introduction of robots in a wide area of surgical interventions has led to an approach that is easier for surgeons and safer for patients. Nevertheless, Robot-Assisted Surgery implies new control modalities of the surgical instruments and training constitutes an indispensable step to introduce these new technologies in the operating room. Whereas internet-based teaching modules have simplified the administration of the propaedeutic knowledge, hands-on practical skills development remains the most critical and resource-demanding aspect of robotic training. Surgical simulation has emerged as a prominent alternative to direct Operating Room (OR) practice with the advantages of repeatability and absence of potential harm to the patient. Simulators can be divided into Physical and Virtual Reality based. The first group makes use of Inanimate (Dry Lab), Cadaveric and Animal (Wet Lab) models, and represents a mandatory step to get to the OR in many institutions. The use of such training modalities is mainly limited by the time availability of the real Surgical System. Virtual Reality (VR) Simulators have brought a compact and efficient way to develop the basic skills of robotic surgery, and their diffusion has significantly increased the available practice time for trainees. While VR simulators are not yet capable of reproducing a fully interactive operating room training environment, they still offer a useful method for extracting real-time, quantitative measurements of performance in clinically relevant surgical tasks. Many studies have tried to investigate the utility of simulated environments in teaching and assessing basic and advanced robotic skills. Evaluating the concurrent validity of a Virtual Reality simulator involves comparing it with the gold standard Inanimate or Ex-vivo practice on the real robotic platform. Physical robotic training, however, relies exclusively on structured human grading, an evaluation method in which an expert surgeon rates a live or recorded training task using an objective assessment tool. This method despite being widely validated can be time-consuming, subjective, and tedious to perform. On the other hand, virtual reality simulators provide automatic, quantitative, and real-time measurements of the user performance readily available during the training session. The first part of this work assesses the lack of a simple, objective and automated method to compare VR training with performance on Dry Lab practice. A direct relationship between the two approaches needs to be established: the tasks should be identical analogs, both in terms of their physical form factor, and the measures used to evaluate skill. Most of the scientific effort is directed through the research of a new method for Dry Lab skill assessment that does not require structured human grading. Subsequently, a dual experimental setup in which the exact same task is made available for training in VR (simulation) and Dry Lab (sensorized platform) is developed. Once the direct relationship between the two platforms (VR and Inanimate) is established, the whole system can be exploited to test high-level hypothesis on the nature of surgical robotic training. The first research hypothesis investigates whether training in a virtual reality task can produce learning effects comparable to those of training in a similar task with the real Surgical System. Another fundamental aspect of training in robotic surgery, besides bringing the trainee to proficiency on a specific task, is the capability of producing skills that can be transferred to other situations or environments. This process has to do, apart from the didactical value of the task itself, with the level of generalization of the motor programs stored in our motor control systems, especially in the cerebellum. Recent studies have focused on the research of new modalities for motor learning enhancement; cerebellar transcranial direct current stimulation (tDCS) has emerged as a non-invasive brain stimulation technique with potentials effects on the skill generalization process. The second research objective is, thus, to investigate whether cerebellar tDCS has any impact on a complex process like robotic surgery training; more in particular to determine how different training platforms (VR and Inanimate) can modify the output of concurrent active robot teleoperation and brain stimulation. The interaction will be examined both in terms of quality of the learning (speed, accuracy) and generalization (transfer of the skills to new environments). A positive result in the first case can theoretically lead to higher quality and efficiency of the training process; while for generalization, if the “enhanced” training permits to acquire less task-depended or platform-depended skills, then the training is one step closer to effectively transfer experience to the OR performance. In order to test the two research hypothesis a da Vinci Research Kit (Intuitive Surgical Inc., Sunnyvale) was used to interact with the developed VR simulation (ATAR) and the corresponding sensorized inanimate task through, respectively, simulated and real robotic instruments. To study the effects of training, 36 non-medical participants were recruited for a single 30-minutes needle-insertion training session and divided into two groups: the first training in VR and the second one training in Dry Lab. Both groups underwent baseline, training, and evaluation phases on their native platform, and then switched to the other platform for skill transfer evaluation. Each participant was additionally assigned to a sham group or a stimulation group to investigate in a doubleblind manner the effects of transcranial direct current stimulation administrated during the training phase. Results show comparable output measures from the two platforms allowing for quantitative performance assessment. Statistically significant error reduction was found in both platforms from baseline to post-training evaluation; similar percentage reduction was noticed in the different proposed metrics demonstrating the equivalence of the two training paradigms. No statistically significant differences in final accuracy were found between sham and stimulation groups. As far as it concerns the skill transfer process, statistically significant differences between baseline and cross-evaluation were found only for the stimulation groups. Transfer from Dry Lab to VR was moreover found to be more consistent than the opposite direction, but transfer from VR to Dry Lab was the one apparently receiving more benefit from the brain stimulation. The first result can be interpreted assuming that, even if brain stimulation in this specific context had no effect on achieving higher accuracy, hyper-excitation of the cerebellar neurons may have enhanced the process of internal skill formalization, and thus the capability of adaptation to a new training environment. The second result may lead to the conclusion that training in robotic surgery using the real surgical system is still the gold standard for achieving proficiency in robot teleoperation, and virtual reality skills do not fully translate into real-world proficiency. Further investigation on the selectivity of the effects of tDCS needs to be done. As a conclusion, this work assessed the generalized lack of a quantitative, automated, and real-time method for performance assessment in Physical robotic surgery training. An experimental setup featuring two identical tasks and measuring systems was proposed to run parallel training experiments in Virtual Reality and in Dry Lab. Equivalence of the proposed training platforms was demonstrated through an extensive user study assessing quality and generalization of learning in various experimental conditions. Multiple training sessions and long term follow up of the performance retention can further validate the proposed hypothesis. Involving expert surgeons in future experiments may help in better assessing the construct validity of the proposed needle insertion task. Additionally, including experimental sessions on medical residents would increase the work reliability and its impact on the addressed research area.

La recente introduzione della robotica applicata alla medicina, e nello specifico alla chirurgia, ha portato ad un approccio più sicuro per i pazienti e più pratico per i chirurghi. Nonostante gli innumerevoli vantaggi che comporta, la chirurgia robot-assistita implica nuove modalità di controllo degli strumenti chirurgici e il training sia del personale che del chirurgo stesso costituisce uno step indispensabile per l’utilizzo proficuo di queste tecnologie in sala operatoria. Laddove moduli di apprendimento online hanno semplificato la gestione della formazione propedeutica, l’apprendimento sul campo delle abilità visuomotorie necessarie per la teleoperazione rimane il passaggio più critico ed oneroso del training per chirurgia robotica. La simulazione chirurgica è emersa sin dagli albori come promettente alternativa all’esperienza diretta in sala, con i vantaggi di ripetibilità delle procedure e assenza del danno potenziale al paziente. I simulatori possono essere divisi in Fisici e basati su Realtà Virtuale. Il primo gruppo fa uso di modelli Inanimati (Dry Lab), Cadaverici o animali (Wet Lab), e rappresenta uno step obbligatorio per entrare in sala operatoria in molte strutture cliniche. L’utilizzo di queste modalità di training è, tuttavia, principalmente limitato agli slot temporali in cui il sistema chirurgico non è utilizzato in sala operatoria. I simulatori a Realtà Virtuale (VR) hanno portato un metodo compatto ed efficiente per apprendere le tecniche di base della chirurgia robotica, e la loro diffusione ha incrementato sensibilmente le possibilità di affinamento della tecnica per i praticanti. Sebbene i simulatori a VR non siano ancora pienamente capaci di riprodurre un ambiente di training completo e realistico come quello di una sala operatoria, essi offrono, in ogni caso, un metodo automatizzato per estrarre in tempo reale misure quantitative sulle performance dell’utente. Molti studi scientifici hanno cercato di investigare l’utilità degli ambienti simulati nell’insegnare e misurare le abilità semplici e complesse della chirurgia robotica. Verificare la validità di un simulatore comporta il compararlo allo standard per eccellenza rappresentato dalla pratica con il sistema chirurgico su piattaforme inanimate o ex-vivo. Il training Fisico tuttavia, comporta un sistema di valutazione basato sulla valutazione umana, tecnica in cui uno o più chirurghi esperti giudicano l’utente in tempo reale, o più frequentemente su registrazioni video depersonalizzate, utilizzando dei sistemi di valutazione standardizzati. Questo metodo è stato utilizzato e validato largamente in letteratura, ciononostante comporta tempi lunghi di valutazione e spesso è considerato come soggettivo; infatti i sistemi di valutazione generano valori quantitativi basati su esami qualitativi soggetti a variabilità inter-personale. Al contrario, i simulatori a realtà virtuale generano, in maniera automatica, quantitativa, ed immediata misure sulla performance dell’utente basate su algoritmi matematici costruiti sulle caratteristiche dello specifico esercizio. La prima parte di questo lavoro affronta la mancanza di un metodo semplice ed automatizzato per comparare il training in realtà virtuale e la pratica in Dry Lab. Una relazione diretta deve essere stabilita tra i due approcci di training: gli esercizi devono essere identici sia in termini dimensionali, che di logica, che di metodo misurazione delle performance. L’impegno principale di questo lavoro si focalizza quindi sulla ricerca ed implementazione di un metodo per la valutazione automatizzata delle abilità chirurgiche nel training su piattaforme inanimate. Di conseguenza viene sviluppato e presentato un apparato sperimentale duale composto da uno stesso esercizio proposto come simulazione in realtà virtuale e in Dry Lab. Una volta stabilita questa relazione diretta tra le piattaforme, tutto l’apparato può essere utilizzato per effettuare test di ipotesi sulla natura intrinseca del training in chirurgia robotica. La prima ipotesi di ricerca si pone quindi l’obiettivo di indagare se la pratica in realtà virtuale possa produrre un apprendimento comparabile alla pratica con il sistema chirurgico reale. Un altro aspetto fondamentale del training per chirurgia robotica, al di là del portare il praticante ad un perfezionamento nello specifico esercizio, è la capacità di generare abilità che siano trasferibili e generalizzabili ad altre piattaforme o procedure chirurgiche. Il successo in questa direzione può essere ricondotto, al di là che alla qualità didattica intrinseca dell’esercizio, al il livello di generalizzazione dei programmi motori che si instaurano nei nostri sistemi fisiologici atti al controllo del movimento, in particolar modo nel cervelletto. Recentemente gruppi di ricerca in tutto il mondo si stanno focalizzando sulla ricerca di metodologie per incrementare l’apprendimento motorio; la stimolazione a corrente diretta transcranica (tDCS) del cervelletto è emersa come tecnica di stimolazione cerebrale noninvasiva con potenziali effetti sul processo di apprendimento e generalizzazione. Il secondo obbiettivo della ricerca quindi si propone di investigare se il protocollo tDCS applicato al cervelletto abbia un impatto sul un processo complesso come il training in chirurgia robotica; più in particolare di determinare come differenti piattaforme di training (realtà virtuale o inanimata) possano modificare il risultato dell’applicazione della stimolazione cerebrale in concomitanza al training in chirurgia robotica. L’interazione verrà esaminata in termini di qualità dell’apprendimento (velocità, accuratezza), e generalizzazione (trasferimento delle abilità apprese a nuovi contesti chirurgici). Un risultato positivo nel primo caso comporterebbe un aumento di qualità ed efficienza del processo di formazione; nel secondo caso invece permetterebbe di acquisire abilità più indipendenti dallo specifico esercizio o piattaforma, garantendo alla fine un processo di formazione più incline a generare risultati in sala operatoria. Per testare queste due ipotesi di ricerca è stato utilizzato un daVinci Research Kit (Intuitive Surgical Inc., Sunnyvale) per interagire con la piattaforma virtuale (ATAR) e con il corrispondente esercizio su piattaforma sensorizzata, utilizzando, rispettivamente, strumenti robotici simulati e reali. Trentasei volontari privi di esperienza medica o robotica sono stati utilizzati per un esperimento di training che consiste in una singola sessione di trenta minuti di allenamento in un esercizio di sutura. Gli utenti sono stati divisi in due gruppi: il primo destinato a praticare con il protocollo virtuale e il secondo in dry lab. Entrambi i gruppi sono valutati prima, durante, e dopo il training nella piattaforma assegnata; subito dopo vengono testati nella piattaforma opposta per valutare il trasferimento delle abilità. Ciascun partecipante è inoltre assegnato in maniera randomizzata ad un gruppo “nullo” e ad un gruppo “stimolazione” per realizzare un test doppio-cieco sugli effetti della stimolazione elettrica del cervelletto applicata durante la fase di training. I risultati mostrano piena corrispondenza tra i segnali di errore prodotti dalle due piattaforme, permettendo di costruire una valutazione delle abilità prettamente quantitativa. Una riduzione statisticamente significativa degli errori tra pre e post-training è riscontrata in entrambi i gruppi di ciascuna piattaforma; una riduzione percentuale simile tra tutte le differenti metriche proposte dimostra una robusta equivalenza tra le due modalità di training. Non è stata riscontrata differenza significativa nell’accuratezza finale tra il gruppo nullo e il gruppo stimolazione. Per quanto riguarda invece il processo di trasferimento tra piattaforme, differenze statisticamente significative sono riscontrate tra pre-training nativo e post-training nell’altra piattaforma solo nei gruppi di stimolazione. Il trasferimento da VR a Dry Lab è risultato più robusto, anche se il caso contrario (Dry Lab a VR) sembra aver beneficiato maggiormente della stimolazione cerebrale. Nonostante la stimolazione cerebrale non abbia quindi portato a una performance differente dal gruppo di controllo in termini di accuratezza sulla specifica piattaforma, l’iper-eccitazione delle popolazioni neuronali del cervelletto potrebbe aver migliorato il processo di astrazione di formalizzazione interna dei controlli motori, e quindi permesso un migliore adattamento alla nuova piattaforma. Il fatto che il trasferimento sia stato rilevato più consistentemente da Dry Lab a VR può portare alla conferma che il training in chirurgia robotica utilizzando oggetti reali e veri strumenti chirurgici rimanga lo standard di riferimento per affinare la tecnica, e che le abilità apprese durante il training virtuale non siano trasferite appieno alla pratica nel mondo reale. In ogni caso, ulteriore investigazione sulla selettività degli effetti del protocollo tDCS risulta necessaria. In conclusione, questo lavoro ha affrontato l’assenza generalizzata di un metodo quantitativo, automatizzato, ed in tempo reale per valutare le performance durante la pratica su esercizi inanimati. Un apparato sperimentale composto da due esercizi con identica struttura e caratteristiche metrologiche è stato proposto per lo svolgimento di test paralleli in Realtà Virtuale e in Dry Lab. L’equivalenza delle piattaforme realizzate è dimostrata grazie ad un estensivo test sperimentale atto a testare la qualità e il grado di generalizzazione delle abilità apprese in differenti condizioni sperimentali. Sessioni di training multiple distribuite su più giorni ed una valutazione della ritenzione delle abilità a lungo termine potrebbero chiarire e rafforzare ulteriormente le ipotesi proposte. Studi futuri potrebbero comprendere anche chirurghi robotici esperti per verificare ulteriormente la validità costruttiva dell’esercizio di sutura proposto. Inoltre, test su personale medico a diversi livelli di esperienza potrebbe aumentare sensibilmente l’impatto e la consistenza del lavoro proposto nel campo di ricerca della chirurgia robotica.