Surgical process modeling of robotic partial nephrectomy with answer set programming

Having full autonomy in robotic surgery would revolutionize the quality of healthcare. However, one of the biggest challenges faced in automating a surgical procedure is the lack of data that can be used in statistical or Machine Learning approaches. Another challenge stems from the high variability between patients, and the differences between surgical techniques used for the same procedure. Current approaches require large amounts of data to provide accurate predictions, which is seldom available for surgery. The aim of this study is to create an AI system that is able to generate a surgical process. A Robotic Partial Nephrectomy is used as a prototypical implementation. First, Surgical Procedural Knowledge is extracted from articles written by experts on the techniques of the procedure, and then formalized using Surgical Process Modeling strategies. Using this formalized knowledge, Answer Set Program (ASP) rules and constraints were created. ASP uses external atoms, and the knowledge it is given a priori, to reason on the surgical process. Real surgical video annotations were used for evaluation. Anatomies were extracted from these surgeries, and given as input to the ASP algorithm, to generate the surgical process. Actual Steps and Actions were compared to those predicted by the ASP system. The overall accuracy of the model in predicting Steps and Actions was found to be 95.3%. Actions were predicted with a mean precision of 97% with a standard deviation of 6.5%, a mean recall of 89% with a standard deviation of 14.3%, and a mean F1-score of 92% with a standard deviation of 8.1%, computed over all the annotations. Additionally, expert urologists validated the correctness of the surgical workflow provided by the ASP system. ASP allows for a robust, and flexible surgical process generation. This system can be integrated with a situation awareness module, as well as a surgical robot, to increase the level of autonomy in surgery.

Avere piena autonomia nella chirurgia robotica rivoluzionerebbe la qualità dell' assistenza sanitaria. Tuttavia, una delle maggiori sfide affrontate nell'automazione di una procedura chirurgica è la mancanza di dati che possano essere utilizzati in approcci statistici o di Machine Learning. Un'altra sfida deriva dall'elevata variabilità tra i pazienti e dalle differenze tra le tecniche chirurgiche utilizzate per la stessa procedura. Gli approcci attuali richiedono grandi quantità di dati per fornire previsioni accurate, che raramente sono disponibili per la chirurgia. Lo scopo di questo studio è quello di creare un sistema di IA in grado di generare un processo chirurgico. Una Nefrectomia Parziale Robotica viene utilizzata come implementazione prototipale. In primo luogo, la conoscenza della procedura chirurgica viene estratta da articoli scritti da esperti sulle tecniche della procedura, e poi formalizzata utilizzando strategie di Modellazione del Processo Chirurgico. Utilizzando questa conoscenza formalizzata, sono state create le regole e i vincoli del Answer Set Program (ASP). L'ASP utilizza atomi esterni, e la conoscenza che gli viene data a priori, per ragionare sul processo chirurgico. Per la valutazione sono state utilizzate vere e proprie annotazioni video chirurgiche. Le anatomie sono state estratte da questi interventi, e date come input all'algoritmo ASP, per generare il processo chirurgico. I passi e le azioni reali sono stati confrontati con quelli previsti dal sistema ASP. L'accuratezza complessiva del modello nella previsione di Passi e Azioni è risultata essere del 95,3%. Le azioni sono state previste con una precisione media di 97% con una deviazione standard di 6.5%, un richiamo medio di 89% con una deviazione standard di 14.3%, e un F1-score medio di 92% con una deviazione standard di 8.1%, calcolato su tutte le annotazioni. Inoltre, urologi esperti hanno convalidato la correttezza del flusso di lavoro chirurgico fornito dal sistema ASP. L'ASP consente di generare un processo chirurgico robusto e flessibile. Questo sistema può essere integrato con un modulo di consapevolezza della situazione, così come un robot chirurgico, per aumentare il livello di autonomia in chirurgia.