Physics-driven multiplayer mixed reality Jenga Simulation with haptic glove integration

This thesis document presents design and implementation of a Mixed Reality (MR) interactive application that aims to deliver a multiplayer simulation of Jenga using a mix of virtual and real world. The app is developed using Unity as game engine, which provides ready-to-use packages and libraries like AR Foundation, OpenXR, NGO and services like Lobby and Relay. It also imports the WeArt SDK, which provides haptic gloves interaction, for a whole new feel of the virtual world. The project, called MR_Jenga, is an adaptation of the classic Jenga tabletop game, designed for headset devices such as the Meta Quest 3, which mounts full-color passthrough cameras, making real-world interaction feel seamless. The application enables the user to manipulate virtual bricks using hand movements, and, when haptic gloves are enabled, to also sense the touch resistance, temperature and texture of the different bricks. It then focuses on the implementation of a realistic simulation of the Jenga tower and of the gloves interaction, focusing also on the multiplayer side, to enable users to play with each other either they are co-located in the same physical room or connected from remote. The core challenges addressed are the stability of the simulation of a multi-body rigid stack of virtual objects, the real time alignment of coordinate system across multiple devices sharing the same physical room and the synchronization of the haptic feedback across the network to ensure a good experience to the user.

Questo documento di tesi presenta il design e l'implementazione di un'applicazione interattiva in Mixed Reality (MR) che mira a offrire una simulazione multiplayer di Jenga, attraverso una combinazione di oggetti reali e virtuali. L'applicazione è sviluppata utilizzando Unity come game engine, che fornisce pacchetti e librerie già pronti all'uso come AR Foundation, OpenXR, NGO e servizi come Lobby e Relay. Integra inoltre WeART SDK, che gestisce l'interazione con i guanti aptici, per un nuovo livello di percezione del mondo virtuale. Il progetto, denominato MR_Jenga, è un adattamento del gioco da tavolo Jenga, progettato per dispositivi dotati di telecamere passthrough a colori, che rendono l'interazione con il mondo reale fluida e naturale. L'applicazione consente all'utente di manipolare mattoncini virtuali e, quando i guanti aptici vengono attivati, di percepire anche la resistenza al tocco, la temperatura e la texture dei diversi mattoncini. Il progetto si concentra soprattutto sullo sviluppo di una simulazione realistica per la torre di Jenga e dell'interazione con i guanti, dando particolare attenzione anche al lato multiplayer, per consentire agli utenti di giocare insieme sia quando si trovano nella stessa stanza, sia quando sono connessi al gioco da remoto. Le principali sfide tecniche affrontate riguardano la stabilità della simulazione di uno stack di oggetti virtuali, l'allineamento delle coordinate tra più visori e la sincronizzazione del feedback aptico per garantire un'esperienza all'utente il più gradevole possibile.