Finite state machine for XR: a modular and flexible approach to develop shared eXtended reality applications

The main objective of this thesis work is to create a solution that allows even those without programming skills to build an augmented reality application. The aim is to achieve this by using a finite state machine to create an infrastructure that generalizes key elements related to mixed reality contexts. An analysis of the state of the art has shown that the use of finite state machine models for problem description has been limited to specific use cases with poor generalization abilities. While this approach can lead to better representation of specific problems and improved performance, it requires the involvement of a professional team for the design and implementation of the machine, resulting in costs and time constraints that do not allow for immediate operational functionality of the product. The proposed approach in this thesis project aims to use the finite state machine as a tool for creating a modular structure, through which users can create simple augmented reality experiences by inserting states, actions, and transitions. The methods for defining the blocks of the machine have been designed to cover as many logical scenarios as possible, also with the aid of existing logical structures. Commonly used interactions in augmented reality and the most common animation effects have been integrated to provide a comprehensive selection. It is important to emphasize that the presented project achieves good results only when the experiences are simple and basic. The proposed solution offers a tool even for smaller realities, allowing the use of augmented reality in various application contexts. Specifically, the fields of tourism and industry were taken as references, aiming to reproduce augmented reality experiences through the developed project. Tests conducted to evaluate the validity of the provided product have demonstrated that the modularity of the solution facilitates learning during application creation and, with necessary limitations, it is possible to create complete and almost error-free experiences even without in-depth knowledge of the system’s functioning.

L’obiettivo principale del presente lavoro di tesi consiste nella realizzazione di una soluzione che permetta anche a coloro che non hanno dimestichezza nell’ambito della programmazione di creare un’applicazione in realtà aumentata. Si è deciso di raggiungere tale scopo mediante l’utilizzo di una macchina a stati finiti, al fine di creare un’infrastruttura in grado di generalizzare gli elementi chiave relativi al contesto della realtà mista. Un’analisi dello stato dell’arte ha evidenziato che fino ad ora l’utilizzo di modelli di macchine a stati finiti per la descrizione dei problemi si è limitato a casi d’uso specifici, con scarse abilità di generalizzazione. Sebbene questo approcci possano portare ad una migliore rappresentazione del problema specifico e a delle prestazioni migliori, si richiede necessariamente il coinvolgimento di un team di professionisti per la progettazione e l’implementazione della macchina, con costi e tempistiche che non consentono una funzionalità operativa immediata del prodotto. L’approccio proposto nel progetto di tesi mira quindi a utilizzare la macchina a stati finiti come strumento per la creazione di una struttura modulare, attraverso la quale gli utenti possono creare esperienze semplici in realtà aumentata inserendo stati, azioni e transizioni. Le modalità di definizione dei blocchi della macchina sono state concepite in modo da comprendere il maggior numero possibile di casistiche logiche, grazie anche all’adattamento di strutture logiche già esistenti. Sono state integrate le interazioni comunemente utilizzate in realtà aumentata e gli effetti di animazione più frequenti, al fine di fornire una scelta più completa possibile. È importante sottolineare che il progetto presentato garantisce una buona realizzazione delle esperienze solo quando queste sono semplici e basilari. La soluzione proposta offre uno strumento anche per realtà minori, consentendo l’utilizzo della realtà aumentata nei vari contesti applicativi. In particolare, si stati presi come riferimento gli ambiti del turismo e dell’industria, cercando di riprodurre esperienze in realtà aumentata mediante il progetto realizzato. I test condotti per valutare la validità del prodotto fornito hanno dimostrato che la modularità della soluzione facilita l’apprendimento durante la creazione dell’applicazione e che, ponendo le limitazioni necessarie, è possibile realizzare esperienze complete e quasi prive di errori anche senza conoscere a fondo il funzionamento del sistema.