Machine learning based psychomotor skill transfer in robotic surgery

Surgical robotics is already a breakthrough in the medical field. It is known to be the future medical treatment with more accessibility and a low time of hospitalization. Emerge of new technologies, namely Machine learning (ML) and Artificial Intelligence (AI), enabled progress in this area. But on the other side, the training of these devices has not evolved much. This study aims to utilize computerized methods to develop a low-cost and easy-to-use training framework for robotic surgery and observe the accuracy and feasibility of this framework. Specifically, this research tries to build a new framework with the help of machine learning to give personalized and real-time feedback to surgical trainees to help improve their psycho-motor skills during an operation. To do so, a surgical robot (KUKA LWR 4+) and surgical task are implemented in the Linux operation system via Robotic Operating System (ROS). Then two distinct experiments are performed to collect data. By using Myo-armband, in the first experiment, EMG signals of wrist activity while performing various wrist movements (normal or rested, flexion, extension, radial and ulnar deviation, supination, and pronation positions) are collected. In the second experiment, in addition to the Myo-armband data, the pose data (position and orientation) of the haptic device's tip is collected while following a specific surgical task. By analyzing the data, it has been concluded that an expert tries to avoid some wrist movements during the operation, while the surgical trainee has some awkward wrist bending which results in muscle fatigue and low performance. Consequently, some correct and wrong wrist movements depending on the trajectory segmentation are defined. The first test data are logged into an ML algorithm to differentiate between various wrist movements. Then the generated classification algorithm is transformed to C++ function through MATLAB and Simulink Coder. MATLAB Simulink connects the robot simulator and the classification function by Simulink ROS Toolbox. The sensory data on the ROS network are applied to the ML algorithm to give real-time feedback depending on the user's performance.

La robotica chirurgica rappresenta già una svolta in campo medico. È nota per essere il trattamento medico futuro con maggiore accessibilità e tempi di ricovero ridotti. L'emergere di nuove tecnologie, vale a dire l'apprendimento automatico (ML) e l'intelligenza artificiale (AI), ha portato progressi in questo settore. Ma, d'altra parte, l'addestramento di questi dispositivi non si è evoluto molto. Questo studio mira a utilizzare metodi computerizzati per sviluppare un sistema di addestramento a basso costo e facile da usare per la chirurgia robotica e a valutarne l'accuratezza e la fattibilità. Nello specifico, questa ricerca cerca di costruire un nuovo framework con l'aiuto dell'apprendimento automatico per fornire feedback personalizzati e in tempo reale ai tirocinanti chirurgici per aiutare a migliorare le loro capacità psicomotorie durante un'operazione. Per fare ciò, un robot chirurgico (KUKA LWR 4+) e un compito chirurgico sono implementati tramite Robotic Operating System. Quindi vengono eseguiti due esperimenti distinti per raccogliere i dati. Utilizzando Myo-armband, nel primo esperimento, vengono raccolti i segnali EMG dell'attività del polso durante l'esecuzione di vari movimenti (posizioni normali o a riposo, flessione, estensione, deviazione radiale e ulnare, supinazione e pronazione). Nel secondo esperimento, oltre ai dati del Myo-armband, vengono raccolti i dati della posa (posizione e orientamento) della punta del dispositivo tattile mentre si segue uno specifico compito chirurgico. Analizzando i dati, si è concluso che un esperto cerca di evitare alcuni movimenti del polso durante l'operazione, mentre il chirurgo tirocinante ha una flessione del polso scomoda che si traduce in affaticamento muscolare e basse prestazioni. Pertanto vengono definiti alcuni movimenti del polso corretti e sbagliati a seconda della segmentazione della traiettoria. I primi dati del test vengono forniti in un algoritmo ML per differenziare i vari movimenti del polso. Quindi l'algoritmo di classificazione generato viene trasformato in funzione C++ tramite MATLAB e Simulink Coder. MATLAB Simulink collega il simulatore di robot e la funzione di classificazione di Simulink ROS Toolbox. I dati sensoriali sulla rete ROS vengono applicati all'algoritmo ML per fornire feedback in tempo reale in base alle prestazioni dell'utente.