Merging the two worlds : a novel approach to the design of mixed reality experiences

In this document we present a novel approach to the design of mixed reality (MR) applications, which combines elements from markerless and location-based augmented reality in order to explore new types of interaction, leveraging a spatial representation of virtual content. In particular, we propose a method for developing both a mobile application, that can be used by people to see augmented content in the real world, and an editor application, which can be used to design and create MR experiences. In our presentation, we deal with the currently available mobile technologies and we discuss the integration of different techniques in order to improve tracking within the context of our location-based approach, in which every content has a defined position in real space. After discussing the advantages and the new interaction possibilities enabled by our method, we define the requirements for a MR authoring tool and we propose our own implementation, aimed at decoupling the editing process from the use of tracking techniques. We particularly focus on the mapping between real-world and virtual coordinates and on the possibilities enabled by real-time editing, which allows the designer to remotely preview the MR experience and to interact with users. We demonstrate the usefulness of our method by presenting two applications developed with our approach and by analyzing some real-world examples. Ultimately, we discuss the feasibility and the future of creating accurate MR experiences with the currently available technologies, by analyzing both quantitative and qualitative results obtained from our case studies.

Con il presente documento presentiamo un nuovo approccio al design di applicazioni di mixed reality (MR), combinando elementi di realtà aumentata markerless e geolocata al fine di esplorare nuovi tipi di interazione - basati su una innovativa rappresentazione dello spazio in cui vengono definiti i contenuti virtuali. In particolare, proponiamo sia un framework per sviluppare applicazioni mobili, che possano essere usate come tramite per osservare contenuto digitale nel mondo reale, sia un sistema di editing finalizzato al design ed alla creazione di esperienze di mixed reality. Durante la nostra discussione, trattiamo le attuali tecnologie mobili necessarie alla creazione di tali applicazioni e discutiamo l'integrazione di diversi sensori al fine di migliorare il tracciamento con un approccio ibrido, basato contemporaneamente su tecniche di elaborazione di immagine e su geolocalizzazione, nel quale ogni contenuto digitale possiede una referenza spaziale al mondo reale. Dopo aver discusso i vantaggi e le nuove possibilità di interazione offerte dal nostro metodo, definiamo un insieme di requisiti necessari allo sviluppo di un tool di editing per applicazioni di MR e proponiamo una nostra implementazione. Questa seconda parte si concentra in particolare sulla mappatura tra coordinate reali e virtuali e sulle funzionalità rese possibili dalla modifica a tempo reale dei contenuti digitali, che consente al designer di di avere un'anteprima della esperienza di MR e allo stesso tempo di interagire con gli utenti. Al fine di dimostrare l'utilità del nostro metodo, presentiamo due applicazioni mobili sviluppate mediante il nostro framework e analizziamo alcuni casi di studio ad esse associati. Infine discutiamo la fattibilità, l'accuratezza ed il futuro della creazione di esperienze di MR con le tecnologie attualmente disponibili, esaminando quantitativamente e qualitativamente i risultati ottenuti tramite i nostri test.