A method for simultaneous task recognition and gesture classification in surgical robotics

Robotic-Assisted Minimally Invasive Surgery (RAMIS) have spread at considerable speed in the last ten years. To reduce surgeons workload, tedium and time spent in controlling tele-operated robotic assistants, Machine Learning algorithms started to be adopted. These programs allow robots to learn from expert demonstrations how to move and how to interpret some surgical procedures enhancing surgeons performances by improving users precision and reducing surgical errors. This thesis proposes a Machine Learning approach that allows robots to simultaneously recognize the undergoing surgical operation and characterize it by evaluating its motion content. Considering the proved analogy between spoken languages and surgical performances Hidden Markov Model based systems are studied. The first proposed framework, called Generic Gesture Classifier (GGC), accomplishes real time segmentation of surgical trials classifying them into atomic meaningful gestures without any consideration about the particular task under analysis. A second approach addresses a real time task-specific gesture classification by using a task recognizer.

Negli ultimi decenni la chirurgia mini invasiva assistita da robot (RAMIS) si è velocemente diffusa in tutto il mondo. Al fine di ridurre il carico di lavoro e la fatica connessa al controllo telematico di questi assistenti robot, si è iniziato a ricorre ad algoritmi di apprendimento automatico. Questi programmi permettono ai robot di apprendere movimenti e tecniche partendo da dimostrazioni di esperti, migliorando le prestazioni chirurgiche. Questa tesi propone un approccio di apprendimento automatico che permetta ai robot il simultaneo riconoscimento del task chirurgico effettuato, e la sua caratterizzazione in termini di movimenti. A tal fine sono stati proposti sistemi basati sui modelli di Markov a stati nascosti (HMM) che già hanno provato la loro efficacia nel processamento del linguaggio e già sono stati proposti in ambito chirurgico. In particolare, il primo metodo proposto, chiamato classificatore di gesti generico (GGC) compie l'analisi dei gesti, in tempo reale, senza ulteriori informazioni riguardo alla particolare operazione chirurgica eseguita. E' stato poi studiato un secondo approccio il quale indirizza una specifica classificazione dei gesti chirurgici grazie ad un riconoscitore di operazioni.