Visually aided changes detection in 3D lidar based reconstruction

Detecting changes in visual data has been of utmost importance in many disciplines, including computer vision, robotics, remote sensing, civil infras- tructure, surveillance and medical diagnosis. In many computer vision sys- tems, the detection of changes, in most of the cases, serve as a preparation step for other phases of the system, and is usually carried out by back- ground subtraction algorithms, which assume the scene was acquired by a static camera. The problem of detecting changes in a scene captured by a moving sensor or camera is still an open problem both in computer vision and remote sensing. The aim of this thesis is to present a system capable of detecting and removing dynamic objects both in 3D scene acquired by a moving lidar device and in 2D images from a moving camera. We used the Demspter-Shafer Theory to represent the space occupancy and to aggregate the evidences of such occupancies from multi-temporal scene measurements. To avoid useless computation, we used a method to remove ground points from change detection test. To speed up the execution, we used octree data structure to partition the point cloud in voxels, and perform all the neces- sary change detection computation on a voxel level. The detected changes from the 3D scene are then propagated into the images where a subsequent step of validating these changes is performed. The validation is done on both color images and depth images rendered from the 3D point cloud. We are able to obtain, with a very high speed and a good precision, static 3D scenes without any dynamic objects and a set of binary masks representing changes from images. Moreover, the static scenes are merged into a global scene. The global scene can be decimated ready to be reconstructed. The presented system is highly modular and very scalable for future extensions such as 3D reconstruction.

Individuare i cambiamenti in una scena ripresa da una camera o percepita da laser `e di grandissima importanza in tante discipline, come visione ar- tificiale, telerilevamento, video sorveglianza e diagnosi medica. Nell’ambito della visione artificiale questi cambiamenti vengono solitamente riconosciuti con tecniche di sottrazione dello sfondo; queste tecniche per`o assumono che la camera sia fissa. Il problema del rilevamento dei cambiamenti nelle scene acquisite da sensori mobili `e ancora un problema aperto nel campo della ́ presentare vision artificiale e telerilevamento. Lo scopo di questa tesi e di un sistema capace di rilevare congiuntamante gli oggetti in movimento nelle scene 3D acquisite dai dispositivi lidar in movimento e nelle immagini scat- tate da camere in movimento. In questo lavoro abbiamo usato la teoria di Dempster-Shafer per modellare l’occupazione dello spazio e per aggregare i dati temporali per riconoscere i punti appartenenti ad oggetti in movimento nella scena. Abbiamo inoltre partizionato la scena in una struttura dati ́ calcolo. I cambiamenti rilevati nella scena octree per aumetare la velocita di 3D vengono poi propagati nelle immagini dove viene eseguito un test di val- idazione di questi cambiamenti. Il test di validazione si basa su immagini a colore sincronizzate con il lidar, e le depth map estratte dalle misure di quest’ultimo. Con questo sistema, siamo riusciti ad ottenere scene statiche 3D senza oggetti in movimento e delle maschere binarie rappresentanti le regioni relative agli oggetti in movimento, con un’elevata velocit`a di ese- cuzione ed una buona precisione. La nuvola di punti 3D senza oggetti pu`o essere cos`ı utilizzata per ricostruire la scena 3D in un passo successivo.