ViReo: Internet of Things Integration in eXtended Reality for network platforms

Extended Reality (XR) and Internet of Things (IoT) are transforming the way humans interact with the surrounding world. When combined, XR and IoT provide a more immersive and natural way for users to sense and control the environment. However, visualization and interaction of IoT systems in XR is more complex than in traditional 2D applications, and have only been addressed by few pioneering works, whose solutions also lack standardization. Furthermore, the IoT ecosystem is vastly heterogeneous in nature, which poses challenges to interoperability at large and ease of integration with external applications. This thesis presents ViReo, a system that integrates IoT into a Virtual Reality (VR) application. ViReo is composed by a VR frontend and a flexible interface facilitating integration with IoT systems. The VR frontend provides functionalities to visualize and interact with IoT devices in a modular fashion, allowing ViReo to be extended effortlessly with ad-hoc functionalities, such as alternative representations of IoT data. The flexible interface towards IoT systems utilizes standard communication protocols and a unified data format, aiming to unify the access to IoT, whose heterogeneity hindered the widespread adoption of the technology. Additionally, the thesis identifies essential capabilities that could be implemented and exposed over the Network Platform, a new platform that could provide ease of use and seamless integration between XR applications and IoT data. The identified capabilities consist in: (i) a unified IoT layer providing interoperability of standards; (ii) selection and provisioning of IoT metadata to the XR client for optimized IoT communication and discovery; (iii) automated device and broker discovery. These results contribute towards standard methods to design efficient VR applications that interact with IoT systems. Ultimately, Network Platforms will enable a seamless reality merging physical and digital worlds, contributing to the creation of a more human-friendly, sustainable and efficient society.

La Realtà Estesa (XR) e l'Internet of Things (IoT) stanno rivoluzionando le interazioni con cui l'uomo comunica con il mondo circostante. Quando combinati, XR e IoT offrono agli utenti modalità più coinvolgenti e naturali di percepire e controllare l’ambiente. Tuttavia, la visualizzazione e interazione con sistemi IoT in XR sono più complessi rispetto a tradizionali applicazioni 2D; esse sono studiate solo in pochi lavori pionieristici, le cui soluzioni appaiono indipendenti e prive di riusabilità. Inoltre, l’ecosistema IoT è vastamente eterogeneo per natura, introducendo ostacoli all’interoperabilità e all'integrabilità con applicazioni esterne. Questa tesi presenta ViReo, un sistema che integra sistemi IoT in un'applicazione in Realtà Virtuale (VR). ViReo è composto da un frontend VR e da un'interfaccia flessibile che facilita l'integrazione con i sistemi IoT. Il frontend VR fornisce funzionalità per visualizzare e interagire con i dispositivi IoT modularmente, consentendo di estendere facilmente ViReo con funzionalità ad hoc, come rappresentazioni alternative di dati IoT. L'interfaccia flessibile verso sistemi IoT utilizza protocolli di comunicazione standardizzati e un formato dati unificato, con l'obiettivo di unificare l'accesso all'IoT, la cui eterogeneità ne ha storicamente ostacolato l'adozione diffusa. Questa tesi identifica inoltre funzionalità essenziali da implementare ed esporre in futuro attraverso la Network Platform, una nuova piattaforma che potrebbe semplificare l'usabilità e integrabilità tra le applicazioni XR e dati IoT. Le funzionalità identificate sono: (i) un layer di conversione per IoT che fornisca interoperabilità tra standard; (ii) selezione e provvisione di metadati IoT al client XR ai fini di ottimizzare comunicazione e discovery di dispositivi IoT; (iii) discovery automatizzata di dispositivi e broker. Questi risultati contribuiscono allo sviluppo di metodi standard per progettare applicazioni VR efficienti che interagiscano con sistemi IoT. Le Network Platform consentiranno una realtà dove mondo fisico e mondo digitale saranno interconnessi, contribuendo a una realtà adattata alle esigenze dell'uomo, più sostenibile ed efficiente.