Tracking and calibration in spatial augmented reality systems with manipulable objects

Augmented Reality based on projection, called Spatial Augmented Reality (SAR), is a technology that can produce environments by overlapping virtual and real objects. It has been used extensively for applications related to military, industry, medical, commercial, and entertainment. SAR systems with manipulable objects, requires robust and accurate tracking of texture-less white objects. Optical tracking systems are identified as the best solutions available today. However, due to their high cost, presence of markers and the complex calibration procedure required, the need for the development of a new tracking approach, which solves the fore-mentioned issues, is necessary. Hence, this thesis aims at developing a low cost tracking solution that can meet the challenges of tracking in SAR systems with manipulable objects. An attempt to solve one of the major drawback of existing optical tracking system, the complex calibration procedure, is also performed as part of this thesis. An approach, which utilizes the advantages of marker based tracking without any markers on the object, has been developed using a flat base tray with markers. Despite of the advantages of low cost and no markers attached to the object, the output of the system has not been good enough yet to use it for practical applications. The disadvantages of the system overcomes the advantages due to the limitations in the calibration procedure and rendering tools available. A new calibration method or a properly designed tray are suggested to solve the issues. Since the object tracking with RGB-D cameras is identified as a promising tracking approach, an attempt to develop a tracking system based on point clouds analysis has been performed. This solution with an easy calibration procedure is able to track the target object without any markers or tray attached to it. However, the low stability and accuracy of the tracking results makes it unsuitable to implement on SAR systems with manipulable objects. Optimization of the tracking data and utilization of advanced devices are suggested to reduce the fluctuations and to improve the accuracy. In order to reduce the complexity, effort and time for calibration in SAR systems with optical tracking, a simplified calibration procedure has been developed based on RGB-D sensors. Pro-Cam calibration with Kinect v2 and RGB based region growing segmentation using Point Cloud Library (PCL) enables the identification of calibration parameters and relative positions. Although the methodology saves significant time and effort of calibration, the proposed methodology suffers from the issues due to the absence of verification methods and errors in the final results.

La realtà aumentata basata sulla proiezione, denominata Spatial Augmented Reality (SAR), è una tecnologia in grado di produrre ambienti sovrapponendo oggetti virtuali e reali. La SAR è stata ampiamente utilizzata per applicazioni relative a settori militare, industriale, medico, commerciale e di intrattenimento. I sistemi SAR, che prevedono l'uso di con oggetti manipolabili, richiedono il rilevamento robusto e accurato di oggetti bianchi. I sistemi di tracciamento ottico sono la migliore soluzione oggi disponibili. Tuttavia, a causa del loro costo elevato, della presenza di marcatori e della complessa procedura di calibrazione richiesta, è necessario sviluppare un nuovo approccio di tracciamento, che risolva i problemi sopra menzionati. Pertanto, questa tesi mira a sviluppare una soluzione di monitoraggio a basso costo in grado di soddisfare le sfide del tracciamento nei sistemi SAR con oggetti manipolabili. Un tentativo di risolvere uno dei maggiori inconvenienti del sistema di tracciamento ottico esistente, la complessa procedura di calibrazione, viene eseguito anche come parte di questa tesi. Un approccio, che sfrutta i vantaggi del tracciamento basato su marker senza alcun marker sull'oggetto, è stato sviluppato utilizzando un supporto planare tracciato. Nonostante i vantaggi del basso costo e nessun marker collegato all'oggetto, l'output del sistema non è ancora stato abbastanza buono da poter essere utilizzato per applicazioni pratiche. Gli svantaggi del sistema superano i vantaggi dovuti alle limitazioni nella procedura di calibrazione e agli strumenti di rendering disponibili. Un nuovo metodo di calibrazione o un supporto progettato correttamente sono i suggerimenti identificati per risolvere l problema. Poiché il rilevamento degli oggetti con le telecamere RGB-D è identificato come un promettente approccio di tracciamento, è stato effettuato un tentativo di sviluppare un sistema di tracciamento basato sull'analisi della nuvola di punti. Questa soluzione con una semplice procedura di calibrazione è in grado di tracciare l'oggetto target senza alcun marker. Tuttavia, la scarsa stabilità e accuratezza dei risultati di tracciamento rende inadatto l'implementazione su sistemi SAR con oggetti manipolabili. L'ottimizzazione dei dati di tracciamento e l'utilizzo di dispositivi avanzati sono suggeriti per ridurre le fluttuazioni e migliorare l'accuratezza. Al fine di ridurre la complessità, lo sforzo e il tempo per la calibrazione nei sistemi SAR con tracciamento ottico, è stata sviluppata una procedura di calibrazione semplificata basata su sensori RGB-D. La calibrazione Pro-Cam con la segmentazione crescente della regione basata su Kinect v2 e RGB tramite la libreria Point Cloud (PCL) consente l'identificazione dei parametri di calibrazione e delle posizioni relative. Sebbene la metodologia consenta di risparmiare tempo e sforzi significativi di calibrazione, la metodologia proposta soffre dei problemi dovuti all'assenza di metodi di verifica ed errori nei risultati finali.