Expanding the mobile VR experience : walking detection and body tracking with worn sensors

The objective of this thesis is to improve the mobile VR experience by decoupling the tracking of the head from the one of the body and detecting the walking by using some worn sensors, looking for a solution that had economic costs and that left the possibility of being used even in existing applications. The world of virtual reality grew in popularity in the last years also thanks to VR headsets such as Oculus Rift, HTC Vive and PlayStation VR which brought the VR experience to the consumer market, but which have high prices. Furthermore, with Google Cardboard this technology became accessible to anyone with a smartphone, even if with some limitations. Different solutions have been adopted to track the movements of the user like the use of visual trackers, acoustic trackers, magnetic trackers, IMUs (Inertial Measurement Units) and others. Another fundamental problem is the "locomotion", that is how to move the character in the virtual environment. Many VR applications use the teleporting, avoiding the risks related to the "motion sickness", others use a standard controller which has the negative effect to reduce the immersion and it can even cause nausea. Others more use sensors, for example the gyroscope of the smarthphone which is used to move the character in different directions based on the tilt of the user's head. The solution proposed in this document uses an IMU to allow the user to advance in the virtual environment in a direction that is different from the one in which he/she is looking at, ensuring a greater level of immersion compared to other Cardboard applications, and two sensors that allow to walk in the real world to move the character in the virtual world, so as to reduce the risk of motion sickness. These components are managed by a microcontroller which sends the inputs of a standard controller, so that it can be used on multiple platforms. In order to test this work, I created two applications for Android devices in which the user itself becomes the joystick since the components are worn and not held and I tested them on 10 people, gathering their impressions and their thoughts. The results confirmed that the level of immersion is greater than the one obtainable with other Cardboard apps without any other type of tracking and the experience is more enjoyable. Furthermore the setup created was used with various existing PC and mobile games to test its effectiveness. Two of them were proposed during the testing phase to verify whether the new controls thus obtained could be better than the original ones. Finally, the prototype built in this thesis can have several uses, such as jogging at home, and it can also be expanded by adding other sensors to make it compatible with applications which require more inputs, thus opening new avenues for entertainment.

Con questa tesi mi sono posto l'obiettivo di migliorare l'esperienza ottenibile dal mobile VR disaccoppiando il tracking della testa da quello del busto e individuando quando si sta camminando usando dei sensori indossati, cercando una soluzione che avesse costi economici e che lasciasse la possibilità di essere utilizzata anche in applicazioni già esistenti. Il mondo della realtà virtuale è cresciuto in popolarità negli ultimi anni anche grazie a visori quali Oculus Rift, HTC Vive e PlayStation VR che hanno portato l'esperienza VR a casa di molte persone, ma che hanno prezzi elevati. Inoltre, con Google Cardboard questa tecnologia è diventata accessibile a chiunque abbia uno smartphone, ma con qualche limitazione. Sono state adottate varie soluzioni per tracciare i movimenti degli utenti, come l'uso di tracker visivi, tracker acustici, tracker magnetici, IMU (Unità di Massa Inerziale) e ancora altre. Un altro problema fondamentale è quello della "locomozione", ovvero come muovere il personaggio nel mondo virtuale. Molte applicazioni VR usano il teletrasporto, evitando così il problema della "motion sickness", altre usano un controller standard che però non solo lede al livello di immersione, ma può anche provocare nausea. Altre ancora fanno uso di sensori, come il giroscopio dello smartphone che viene sfruttato per muovere il personaggio in direzioni diverse in base a come viene inclinata la testa. La soluzione proposta in questo documento utilizza un IMU per consentire all'utente di avanzare nell'ambiente virtuale in una direzione diversa da quella in cui sta guardando, garantendo un maggior livello di immersione rispetto ad altre applicazioni per Cardboard, e due sensori che permettono di camminare nel mondo reale per far muovere il personaggio nel mondo virtuale, così da ridurre il rischio di motion sickness. Questi componenti sono gestiti da un microcontrollore che invia gli input di un controller standard, così da poter essere utilizzato su più piattaforme. Al fine di testare questo lavoro ho creato due applicazioni per dispositivi Android in cui l'utente stesso diventa il joystick, dato che i componenti sono indossati e non tenuti, e le ho testate su 10 persone, raccogliendo poi le loro impressioni e le loro opinioni. I risultati hanno confermato che il livello di immersione è maggiore di quello ottenibile con altre app Cardboard senza altri tipi di tracking e l'esperienza risulta più godibile. Inoltre il setup creato è stato utilizzato con vari giochi esistenti per PC e mobile per testarne l'efficacia. Due di questi sono stati proposti durante la fase di testing per verificare se i nuovi controlli così ottenuti potessero essere migliori di quelli originali. Infine, il prototipo costruito in questa tesi può avere diversi utilizzi, come il jogging in casa, e può anche essere espanso aggiungendo altri sensori per renderlo compatibile con applicazioni che richiedono più input, aprendo così nuove strade all'intrattenimento.