Vision based control for robotic scrub nurse

In the last years, the introduction inside the operating theatre of new robotic instruments and new techniques based on computer vision has changed drastically the approach to surgery. Robots are able to perform faster and non-invasive surgeries, reducing the risk for the patient and mental, physical exertion for the surgeon. Still no improvements regarding the medical staff that operates around the surgeon are visible, instead the inclusion of new instruments and new techniques for robotic surgery has increased the complexity and the stress of the procedure, requiring highly trained professional figures. Due to this problem since 2006, with the introduction of the first "Robotic Scrub Nurse" Penelope, the researchers have started to develop a new kind of robot based on the paradigm of "Human and robot interaction". This new category of robots aims at interacting actively with the surrounding environment, rather than execute repetitive and pre-established tasks. This new approach requires the solution of not trivial problems. Firstly the robotic system must be able to communicate with humans and understands the given requests. Secondly it has to identify the requested instruments inside the instrument tray. Finally plan and execute a safe trajectory to reach the user's hand and handle the instrument safely to the surgeon. There are few examples in literature of systems able to understand vocal or gesture languages and acquire the correct instruments, but the problem of handling is solved by separating the robot work-space and the staff work-space through a transfer tray or handling the instrument in predefined positions without tracking the position of the user's hand. This thesis aims to develop a vision based control for robotic scrub nurse able to control a robotic arm, in order to identify the user's pose and reach his hand. The proposed solution achieves such task by coupling a RGB-D camera with a collaborative robot. The RGB-D camera acquires a color image and a depth image. The color image is used to identify the position of sixteen points belonging to characteristic human body segments(top head, neck, chest, shoulders, elbows, wrists, , pelvis, hips, knees and ankles), through a neural network based algorithm. Then the depth image allows to obtain the 3D position of such points and the acquired coordinates are expressed in the robot reference frame through a calibration matrix between the camera and the robot. Finally the robot reaches the user's hand when requested.

L'introduzione all'interno della sala operatoria di nuovi strumenti robotici e di nuove tecniche basate sulla visione computerizzata hanno rivoluzionato l'approccio alla chirurgia. I robot non solo permettono di effettuare operazioni rapide e non-invasive, riducendo il richio per il paziente, ma hanno anche permesso di ridurre il carico di lavoro del chirurgo. Nulla però è cambiato per il resto del team, anzi, l'incremento del numero di strumenti e di tecniche da apprendere per effettuare un operazione di chirurgia robotica hanno reso il lavoro degli strumentisti più complesso e stressante. Per questo dal 2006, con il primo esemplare di strumentista robotico "Penelope", si è cercato di introdurre all'interno della sala operatoria una nuova tipologia di assistente robotico basato sul paradigma della "collaborazione uomo-robot". Tale tipologia di robot mira non più ad eseguire con precisione e ripetitività un task assegnatoli tramite processi di guida robotica basata su immagine o sotto il diretto controllo del chirurgo, ma a collaborare attivamente con lo staff medico. Questa procedura affronta diversi problemi non banali. In primo luogo il sistema robotico deve essere in grado di comunicare con l'ambiente circostante, successivametne deve essere in grado di riconoscere all'interno del ambiente lo strumento richiesto. Inoltre lo stesso deve pianificare ed eseguire la traiettoria più sicura per raggiungere la mano dello strumentista o del medico e consegnare correttamente lo strumento. Diversi modelli sono stati prodotti fino ad oggi che gestiscono in modo differente i problemi di comunicazione, ma non approcciano il problema di collaborazione, mantenendo separato l'ambiente di lavoro del robot da quello dello staff, tramite carrelli di trasferimento o consegnando lo strumento in posizioni ben definite, senza controllare la posizione della mano del chirurgo. Questa tesi mira a realizzare un sistema automatizzato basato su algoritmi di computer vision, in grado di identificare la posizione dell'utilizzatore all'interno dell'ambiente e controllare un braccio robotico in modo tale da raggiungere la mano dell'utente. La soluzione proposta sfrutta una camera RGB-D accopiata con un robot collaborativo. La telecamera RGB-D permette di acquisire uno video a colori associato a una corrispondente immagine di profondità. L'immagine a colori vine utilizzata per identificare la posizione di sedici punti caratteristici del corpo umano(testa, collo, petto, spalle, gomiti, mani, pube, anche, ginacchia e caviglie) tramite un algoritmo basato su rete neurale. L'immagine di profondità permette di ottenere la posizione nello spazio tridimensionale dei punti sopra citati. Infine l'algoritmo estrae la posizione 3D della mano dell'utilizzatore che viene convertita da coordinate definite rispetto alla telecamera in coordinate definite rispetto alla base del robot, permettendo a quest'ultimo di raggiungere la mano. La pianificazione di una traittoria sicura e la consegna dello strumento nella mano dell'utente sono al di fuori dell'obiettivo della tesi, ma la soluzione proposta pone le basi per la soluzione dei problemi relativi a queste specifiche finalità.