Data augmentation to train CNN for tracking live stream of surgical images

Augmented reality (AR) applications during surgeries with the use of robotic surgical systems can help the surgeon to overcome the problem of the restricted spatial awareness, caused by the necessary use of a visor to visualize the pa- tient’s body. The objective of the thesis is the definition of the implementation steps of a convolutional neural network (CNN) that output the values need for the correct placement of the 3D model of a prostate on the live stream cap- tured during a prostatectomy, in order to be able to use these values to run the augmented reality application in real time. During the implementation of the CNN a phase of data augmentation starting from an initial dataset of tagged images will be performed and will be used the technique of the transfer learning to use a pre-trained CNN adapting it to our task.

Applicazioni di realta aumentata (AR) durante operazioni mediche con l’uso di sistemi chirurgichi robotici possono aiutare il chirurgo a superare il prob- lema della limitata cognizione spaziale, causata dall’uso necessario di un vi- sore per poter vedere l’area da operare. L’obiettivo della tesi è la definizione dei passaggi implementativi per una convolutional neural network (CNN) che restituisce i valori da usare per il posizionamento corretto del modello 3D di una prostate sul flusso video catturato durante una prostatectomia, in modo da poter eseguire l’applicazione di realtà aumentata in tempo reale. Durante l’implementazione della CNN sarà eseguita una fase di data augmentation a partire da un dataset iniziale di immagini taggate e sarà usata la tecnica del transfer learning per poter usare una CNN pre-trained e adattarla al nostro obiettivo.