3D reconstruction from stereo video acquired from odontoiatric microscope

The aim of the thesis is to generate a 3D model from couple of images, acquired from dental surgery operation. This is done for teaching puproses because it may help denstist student to understand better crucial part of the operation, one other possible application is to measure parts inside the mouth in case, for example, of possible carcinomas. After the acquisition of the stereo video from a odontoiatric microscope, we modify the frame of the video in order to make their 3D reconstruction of the scene possible. In particular, after having computed the calibration parameters for both cameras (individually and stereo calibration), we rectify the images in the same time istant take from the two cameras, i.e. with different point of view, and therefore delete the rotation of the second camera with respect to the first one. Then we compute the disparity map so we can compute the depth of the image and fi nally reconstruct the scene. This process is done for each pair of frames. This results in a good 3D reconstruction but with some holes in the final images. Infact the 3D is degraded because the two cameras are rotated relative to each other, moreover, the calculated depth values do not correspond to the real depth values, i.e. how much each pixels is far from the camera.

Lo scopo della tesi è quello di generare un modello 3D da una coppia di immagini acquisite da un'operazione chirurgica dentistica. Questo è fatto per dei propositi di insegnamento in quanto potrebbe aiutare gli studenti di odontoiatria di capire al meglio le parti cruciali dell'operazione, un'altra possibile applicazione è quella di misurare le parti all'interno della bocca in caso, per esempio, di possibili carcinomi. Dopo l'acquisizione del video in modo stereo da un microscopio odontoiatrico, modi fico i frame del video così che la ricostruzione 3D della scena è possibile. In particolare, dopo aver calcolato i parametri di calibrazione per entrambe le videocamere (sia individualmente che in modo stereo), si rettificano le immagini prese dalle due videocamere nello stesso istante di tempo, cioè con un differente punto di vista, in modo da eliminare la rotazione della seconda videocamera rispetto alla prima. Quindi si computa la mappa di disparità così da poter calcolare la profondità dell'immagine e infine si ricostruisce la scena. Questo viene fatto per ogni coppia di frame. Questo porta a una buona ricostruzione 3D anche se con qualche buco nell'immagine finale. Infatti il 3D è degradato in quanto le due videocamere sono ruotate una rispetto all'altra, inoltre i valori della profondità calcolati non corrispondono ai valori reali di profondità, cioè a quanto i singoli pixel sono distanti dalla videocamera.