Visual odometry for real time SLAM in indoor environments applied to the digitalization of cultural heritage

The digitalization of tangible cultural heritage consists in the creation of metrologically accurate virtual models that can be used for the study or divulgation of artifacts or structures. Given the sheer number of such objects, the involved scientific community is striving to develop increasingly autonomous systems in order to speed up the acquisition and data treatment processes. One of the most critical steps in the digitalization pipeline is the alignment of multiple scans of the same article. A solution to this problem is to fit the scanner with an odometer: a sensor that provides its spatial position and orientation. Although this has already been accomplished for external environments using the GPS signal, the same method cannot be used in indoor environments such as museums, building interiors, tunnels, hypogea, etc. In this thesis, we have developed a vision-based odometer capable of using the room itself as a reference frame for estimating the sensor movement. This approach is known in the field of mobile robotics as the Simultaneous Localization And Mapping (SLAM) problem. The algorithm can be divided into three fundamental operations: first we identify a set of features that are be tracked from frame to frame; then we perform stereoscopic triangulation to reconstruct their three-dimensional coordinates; finally the space-time evolution of the reference points are used to reconstruct the pose of the laser scanner. Although the basic structure of our algorithm was imported from the mobile robotics community, we propose an adaptation to obtain sensor fusion between active and passive sensors, taking into account the specific needs of cultural heritage digitization. The resulting program is therefore a mix of different fields of research and is very promising both in terms of real-time requirements and in terms of obtained accuracy. The programming of the visual odometer was conducted in parallel with an extensive experimental activity in order to perform a step-by-step validation. The final test synthesizes the obtained results by using the sensor in order to perform the automatic alignment of a pair of point clouds acquired with a laser scanner.

La digitalizzazione del patrimonio culturale materiale consiste nella generazione di modelli virtuali metrologicamente accurati di manufatti e siti archeologici per facilitarne lo studio e la divulgazione. Data la quantità di beni potenzialmente scansionabili, la comunità scientifica coinvolta si sta adoperando per automatizzare sempre di più le fasi di acquisizione e trattamento dati. Una delle operazioni più onerose consiste nell’allineare molteplici acquisizioni 3D dello stesso oggetto prese da diverse posizioni. Tale operazione può essere velocizzata dotando lo scanner di un odometro: un sensore che ne misura la posizione e l’orientamento. Sistemi del genere sono già utilizzati laddove è disponibile il segnale GPS, tuttavia gli ambienti interni richiedono delle nuove soluzioni. In questa tesi svilupperemo un odometro che utilizza la stanza stessa come riferimento per ricostruire il proprio spostamento. Tale approccio si basa sui risultati della robotica mobile in cui il problema di orientarsi in ambienti sconosciuti è noto con il termine SLAM (localizzazione e mappatura simultanea). L’algoritmo sviluppato può essere suddiviso in tre macro operazioni. Innanzitutto si individua nell’inquadratura principale un set di punti caratteristici che vengono poi seguiti da un fotogramma all’altro. Dopodiché si sfrutta la seconda telecamera per ottenerne le coordinate 3D. Nota l’evoluzione spazio-temporale della nuvola di punti, il programma adotta il metodo dei quaternioni per ricostruire la rototraslazione del sistema di riferimento. Il contributo principale di questo lavoro consiste nell’aver introdotto delle tecniche di stampo fotogrammetrico in una struttura originaria del campo dalla robotica. La fusione di queste due aree di ricerca ha portato ad un sistema con buone prestazioni sia in termini di esecuzione in tempo reale sia in termini di accuratezza della stima ottenuta. Lo sviluppo dell’odometro è stato affiancato da un’intensa attività sperimentale finalizzata a verificare ogni passaggio ed eventualmente individuare i limiti del sistema. Il risultato finale è stato validato effettuando l’allineamento automatico delle scansioni ottenute con uno scanner laser.