Augmented reality and robot-assisted needle insertion for percutaneous nephrolithotomy task

The aim of this work was to evaluate the accuracy, efficacy, and system usability, of a system implementing Augmented Reality and Robotic assistance for the needle insertion step of percutaneous nephrolithotomy (PCNL) procedure. The PCNL procedure is the gold standard for the treatment of large kidney stones. Accurate needle insertion is crucial for successful surgery, but it's challenging due to the complex imaging and high surgeon workload. The proposed system implements an Augmented Reality (AR) application combined with a robot assisting the needle insertion. The AR is implemented through the Microsoft HoloLens2 headset and visualizes the patient anatomy 3D model, the target stone and the pre-planned insertion path, registered on the real patient. The robotic assistance is implemented by means of a KUKA LWR 4+ robot running an impedance controller for the surgeon's guidance along the pre-planned path. The experimental setup included a user test of 14 users performing the same needle insertion task with all the possible setup combinations implementing 2D screen visualization or AR and free hand insertion or robotic-assisted insertion. Moreover, the system usability was assessed by means of the NASA Task Load Index questionnaire. The mean translation error of the proposed system was 3.2 ± 1.4 mm and the orientation error was 1.2 ± 0.9 deg with a mean execution time of 171 ± 109 s. The accuracy of all the other systems where lower. The lower time of execution of 100 ± 55 s was reached from the AR with the manual insertion system, while the rest of the other systems' times of execution were comparable. The user questionnaire showed the best usability of the proposed system. This analysis demonstrated that the system implementing AR and robotic assistance can be used for the execution of percutaneous nephrolithotomy needle insertion with high accuracy with respect to the current standard procedure modality and with respect to the current state of the art in this field. Furthermore, AR visualization and robotic assistance increased the system's usability.

Lo scopo di questo lavoro era valutare l'accuratezza, l'efficacia e l'usabilità di un sistema che implementa la realtà aumentata e l'assistenza robotica per la fase di inserzione della procedura di nefrolitotomia percutanea (PCNL). La procedura PCNL è lo standard di riferimento per il trattamento dei grossi calcoli renali. L'inserimento accurato dell'ago è fondamentale per un intervento chirurgico di successo, ma risulta complesso a causa della tecnica di imaging e dell'elevato carico di lavoro del chirurgo. Il sistema proposto implementa un'applicazione di Realtà Aumentata (RA) combinata con un robot che assiste l'inserimento dell'ago. La RA è implementata attraverso gli occhiali Microsoft HoloLens2 e visualizza il modello 3D dell'anatomia del paziente, il calcolo renale e il percorso di inserimento pre-programmato, registrato sul paziente reale. L'assistenza robotica viene implementata tramite un robot KUKA LWR 4+ in controllo ad impedenza per la guida del chirurgo lungo il percorso pre-programmato. Durante la fase di test, sono stati condotti user test con 14 partecipanti che hanno eseguito la stessa attività di inserzione, utilizzando tutte le possibili configurazioni implementate, tra cui la visualizzazione su schermo 2D o RA e l'inserimento manuale o assistito. Inoltre, l'usabilità del sistema è stata valutata mediante il questionario NASA Task Load Index. Gli errori di traslazione e orientamento medi del sistema proposto erano di 3,2 ± 1,4 mm e 1,2 ± 0,9 gradi rispettivamente con un tempo medio di esecuzione di 171 ± 109 s. La precisione di tutti gli altri sistemi era inferiore. Il minor tempo di esecuzione di 100 ± 55 s è stato raggiunto dal sistema con RA e sistema di inserimento manuale, mentre gli altri tempi di esecuzione erano comparabili. Il questionario ha evidenziato la migliore usabilità del sistema proposto. Questa analisi ha dimostrato che il sistema che implementa la RA e l'assistenza robotica può essere utilizzato per l'esecuzione dell'inserzione della PCNL con elevata precisione rispetto alla modalità di procedura standard e rispetto all'attuale stato dell'arte in questo campo. Inoltre, la visualizzazione in RA e l'assistenza robotica hanno aumentato l'usabilità del sistema.