User-centred evaluation methods for augmented and mixed reality. A working framework to inform and choose the best user evaluation methods based on multiple structured field surveys

Augmented reality is one of the most promising paradigms in the field of interaction design, with more than forty years of advancements behind it, right now is facing a crucial moment in its development. Today we have the technology that can enable its full potential, allowing us to “augment” the world around us with timely and relevant information, everywhere and at any time, results that only a few years ago presented challenging problems. However, these possibilities are obscured by the ever-growing list of start-ups and companies that, after long developments and promises of new tech marvels, are now forced to downsize, or even abandon their ambitions. One of the reasons that are holding back the technology has been identified in the lack of study focused on the end-users, on their motivations and needs, often overshadowed by the technology itself. In this regard, this thesis work aims to analyse and categorize the methods so far adopted to investigate the objective and suggestive spheres of this technology. In addition, a framework has been developed to identify the best evaluation techniques to employ in the future. Thus, this framework has two goals: an illustrative one, to inform which fields and which techniques have been used in the past regarding the user evaluation with AR technologies, and an operational one, to evaluate which methodology and tool are the best suited to a specific situation over the other. Inside this work, we also propose two case studies to illustrated step by step the use of the framework, and to understand what the limitations and potentials of this tool are. Both case studies derive from real AR prototypes, and on these we will use the framework to decide which evaluation methodologies are the most appropriate to use for each specific situation. This framework would thus be able to guarantee faster development iterations, keeping the end-user always at the centre of the development, and bringing this new revolutionary technology in the hands of people outside the research and development centres.

La realtà aumentata è uno dei paradigmi più promettenti nel campo del design dell’interazione, con più di quarant’anni di avanzamenti alle spalle, si trova adesso davanti a un momento cruciale del suo sviluppo. Oggigiorno, le tecnologhe che possono permettere la sua piena fruizione hanno raggiunto possibilità tali da poter garantire un continuo arricchimento della realtà con informazioni puntuali e rilevanti, dovunque e sempre, risultati che solo pochi anni addietro rappresentavano problemi di difficile risoluzione. Queste possibilità sono da altra parte oscurate dalla sempre più lunga lista di start up e aziende che, seppure pochi anni addietro promettessero nuove meraviglie tecnologie nel campo della realtà aumentata, sono costrette oggi a ridimensionare o addirittura abbandonare le proprie ambizioni. Una delle motivazioni che sta limitando l’adozione di questa tecnologia è la scarsa attenzione all’utente finale, alle sue aspettative ed esigenze, che spesso vengono messo in secondo piano rispetto alla tecnologia stessa. Il lavoro di questa tesi propone l’analisi e la classificazione dei metodi adottati fino a questo momento per la valutazione oggettiva e soggettiva di questa tecnologia. Inoltre, è stato elaborato un framework per poter identificare le migliori tecniche di indagine. Il framework ha il duplice scopo: illustrativo, per identificare metodi e tecniche impegnate in passato nel campo della valutazione utente con tecnologie AR, e operativo, per poter valutare quale metodologia e strumento siano i più adatti a una specifica situazione rispetto che un'altra. All’interno di questo lavoro vengono anche proposti due casi studio per poter, da un lato, illustrare passo a passo l’utilizzo del framework, e dall’altro, per comprenderne i limiti e le potenzialità dello strumento sviluppato. Entrambi i case study derivano da reali prototipi di sistemi AR, sui quali andremo a utilizzare il framework per decidere quali metodologie di valutazione siano le più opportune da utilizzare per ogni specifica situazione. L’uso di questo framework potrà così favorire lo sviluppo e la validazione di nuove modalità di interazione sempre più incentrare sull’utente finale al fine di rendere la realtà aumenta alla portata di tutti e al di fuori dei centri di ricerca e sviluppo.