Low cost immersive Augmented - Reality system for 3D models visualization and editing

Spatial Augmented Reality (SAR) is a form of Augmented Reality where projections are displayed on 3D objects or planes. This technology has been useful in the field of mixed prototyping especially for the design and development of interactive products. The projections are capable of displaying 2D features onto the physical prototype really well, but it is difficult to perceive the depth of 3D features when they are projected onto a surface. So, for such cases other solutions are needed. In this thesis I am exploring two options. The first option is an addon to an existing SAR setup. By using the existing tracking setup available I created an app which uses Video See through AR to display the mixed protype along with 3D features of the prototype while still using the existing OptiTrack camera setup. I explain some of the challenges involved in sending the tracking information from the camera to the VST setup and the overlaying of the virtual prototype over the real one. The second part of the work involves the development of a standalone app for 3D model visualization which doesn’t have the movement restrictions which come with the usage of external tracking cameras. This part explores the possibility of using a smart phone camera for tracking and hand gesture recognition for interacting with the virtual objects within the app. I also talk about some of the limitations of this approach and how it may be improved.

La realtà aumentata spaziale (SAR) è una forma di realtà aumentata in cui le proiezioni vengono visualizzate su piani o su oggetti tridimensionali. Questa tecnologia è stata utile nel campo della prototipazione mista,che utilizza componenti reali e virtuali simultaneamente, in particolare per la progettazione e lo sviluppo di prodotti interattivi. Le proiezioni sono in grado di rappresentare molto bene le caratteristiche 2D, è più difficile, però, rappresentare la profondità e il volume delle caratteristiche tridimensionali del prototipo con una proiezione; per questi casi sono necessarie altre soluzioni. In questa tesi esploro due opzioni. La prima opzione è un componente aggiuntivo per una configurazione SAR esistente. Utilizzando l'impostazione di tracciamento disponibile, ho creato un'app che mediante la Video See-through AR, permette di visualizzare il prototipo misto insieme alle caratteristiche 3D del prototipo, mentre si utilizza ancora la configurazione della telecamera OptiTrack esistente. Spiego anche alcune delle sfide legate all'invio delle informazioni di tracciamento dalla telecamera all'impostazione VST e alla sovrapposizione del prototipo virtuale sul prototipo fisico. La seconda parte del lavoro tratta lo sviluppo di un'app standalone che non ha le restrizioni di movimento derivanti dall'utilizzo di telecamere di localizzazione esterne. Questa soluzione esplora la possibilità di utilizzare la fotocamera dello smartphone per il tracciamento e include l'uso del riconoscimento dei gesti della mano per interagire all'interno dell'app. Spiego anche alcuni limiti di questo approccio e quali possono essere gli spunti di migliolamento.