Next best view selection for visual 3D reconstruction with drones

Over the last decade new and tiny aerial vehicles have been developed and gradu- ally released to the market. Nowadays we can easily buy drones for ourselves, and use them to take pictures in our trips from previous unreachable positions. They are becoming part of our lives even though we might not be conscious of it. In general drones can be equipped with different sensors, the most common are GPS and a camera; the combination of both allows to employ a drone in many different tasks. Nowadays a key application is the survey of areas, e. g. the army is already employ- ing these vehicles massively to reduce risks for the lives of soldiers. On the other hand a company, with this technology, instead of sending an employee abroad or in any far away location to survey an area or perform the common safety checks, it sends a drone that would reconstruct the entire area and save money, and time. The application we focus in this thesis regards autonomous environmental survey, where the drone, or, in general any autonomous vehicle have to extrapolate the 3D representation of the surroundings without the help of a human operator. The vehicle will create incrementally such reconstruction during its mission collecting observation with a camera sensor. This is not a trivial task, mostly because these reconstructions have to be accurate enough to be properly used afterwards by humans. Thus the vehicles have to recognize regions where the reconstruction is not accurate enough and try to improve it, if possible. This problem in the Robotics and Computer Vision community is known as a Next Best View problem. In this thesis we propose an innovative approach to the Next Best View problem. Our approach comprise two phases, in the former step we estimate the accuracy of the reconstruction built, while in the latter step we determine the optimal pose to improve such reconstruction. For the accuracy estimation we propose six different estimators of the uncertainty of the whole reconstruction. Four rely on geometric constraints derived from Photogrammetry. While the other two are a novel approach based on 3D reconstruction photo-consistency. We show that only two of them are able to pro- vide a meaningful estimation while the others lack some intrinsic ability to properly discriminate an accurate reconstruction from an inaccurate one. Concerning the pose definition we propose a new robust and flexible energy min- imization formulation that we optimize with different techniques. We propose one deterministic implementation based on Graphical Models, where we design a graph that reminds the network concept used in the Photogrammetric community. The other optimization techniques are based on stochastic methods: Markov Chain Monte Carlo and two different configuration of Particle Swarm Optimization. We show that all of this implementations are able to provide a meaningful position, however only a few of them fully explore the space. We show that our system composed of an accuracy estimator and a optimization technique is able to enhance the reconstruction and also to explore the space increasing the surface of the reconstructed object. We also show that our system achieve results comparable with the state-of-the-art stereo approaches.

Negli ultimi anni nuovi e leggeri veicoli aereei sono stati sviluppati e rilasciati grad- ualmente sul mercato. Ad oggi è possibile comprare un drone, o perfino costruirselo, senza problemi legali; infatti è possibile utilizzarli per farsi fare foto durante le va- canze da angolazioni e posizioni impensabili prima. In genere questo tipo di veicoli possono essere equipaggiati con diversi sensori, i più comuni sono il GPS e camere. La presenza di entrambi questi due sensori permette al drone di poter esser usato in molti task diversi. In ambito militare ne viene fatto un uso estensivo sopratutto per sorvegliare o mon- itorare aree notiriamente non sicure per i soldati. Invece per le aziende l’uso di droni può implicare una riduzione degli spostamenti necessari per i dipendenti. Per esem- pio, non sarà più necessario mandare un dipendente ad eseguire un’ispezione o vis- itare un luogo specifico in quanto sarà possible farlo da remoto con una conseguente riduzione di costi di viaggio. In questa tesi ci concentreremo su un’applicazione che diverrà di grande importanza in futuro, l’ispezione di luoghi in maniera autonoma attraverso droni. Ispezionare sig- nifica estrarre una mappa 3D di un luogo sconosciuto senza l’aiuto di un operatore umano, tale mappa dovrà essere creata durante l’ispezione del veicolo e in maniera in- crementale. La ricostruzione che si deve ottenere in caso di ispezione deve essere accu- rata a sufficienza affichè un operatore umano sia in grado in futuro di raccogliere mis- urazioni e dati da essa. È quindi importante che il drone riconosca quanto la mappa creata sia accurata e capisca dove necessita miglioramenti al fine di poter apportare miglioramenti. Il problema di determinare quale zona necessita di più osservazioni per ottenere una migliore ricostruzione e stabilire come agire non è un problema semplice e viene in generale affrontato con un approccio Next Best View. In questo lavoro di tesi pre- sentiamo diversi approcci sia per definire l’accuratezza della ricostruzione sia per determinare la miglior posa per rifinire la ricostruzione. Per quanto riguarda l’accuratezza della ricostruzione definiamo sei stimatori di in- certezza. Quattro di questi stimatori sono basati su tecniche di fotogrammetria. Men- tre i restanti stimatori sono basati sul concetto di foto-consistenza delle ricostruzioni 3D. In questo lavoro mostriamo come questi stimatori di incertezza si comportanto con diversi dataset e dimostriamo che due di loro sono in grado di fornire una stima sensata. Riguardo alla definizione di una nuova posa nello spazio per il drone proponiamo una nuova e flessibile formulazione basata sul noto concetto di energia. Questa fomu- lazione viene poi implementata con diverse tecniche di ottimizzazione. Come prima tecnica di ottimizzazione proponiamo un approccio deterministico basato su Graph- ical Models che ricorda il concetto di rete che viene utilizzato nella comunità dei fotogrammetristi. Le rimanenti tecniche sono approcci stocastici quali Markov Chain Monte Carlo e due versioni del Particle Swarm Optimization. Mostriamo come questi ultimi tre metodi sono più capaci di esplorare lo spazio di ricerca e trovare una pose migliore a livello energetico. Infine mostriamo come il nostro sistema composto da uno stimatore di accuratezza e un algoritmo di ottimizzazione sia in grado di migliorare la ricostruzione ed esplorare lo spazio ampliando la superficie ricostruita. Inoltre confrontiamo i nostri risultati con approcci stereo presenti nello stato dell’arte e dimostriamo come il nostro sistema, stimatore di accuratezza e posa, sia in grado di ottenere risultati migliori.