Conversational web browsing in Mixed-Reality environments

Virtual reality and the enabling technologies are undergoing such an evolution that is changing the way we relate to the digital world. Despite being still perceived as something immature by most people, these technologies are already leading to novel applications in various fields, from entertainment to education, from medicine to design, thus allowing users to immerse themselves in new and interactive simulated environments. The enrichment and evolution of these technologies are certainly also possible thanks to the growing use of AI, which, using Machine Learning and Natural Language Processing, is becoming increasingly capable of understanding natural language and analyzing data autonomously, offering innovative solutions, and improving the efficiency and quality of the user experience. In this thesis, we want to explore the new capabilities that the integration of Mixed reality (MR) and Conversational AI can bring to Web browsing, to create a new type of MR experience that can be a step forward compared to current possibilities in Web navigation. In particular, this thesis investigates the use of Conversational AI to enable and facilitate access to data on the web in an MR environment, thus making the user able to "speak with the interface" to request and browse content that is extracted from the Web. The thesis proposes a conceptual framework that facilitates the integration of these technologies and proposes a preliminary prototype in which: Unity and MRTK (Mixed Reality Toolkit) are used to create a 3D interface handling the augmented reality environment, while the Conversational Web Framework (ConWeb), which can manage a conversation-oriented Web browsing experience, is adopted to handle navigation and natural language understanding.

La realtà virtuale e le tecnologie che ne permettono l’uso stanno avendo un processo di evoluzione tale da cambiare il modo con cui ci relazioniamo con il mondo digitale. Nonostante siano ancora percepite come qualcosa di ancora acerbo dalla maggior parte delle persone, queste tecnologie stanno già portando a nuove applicazioni in vari campi, dall’intrattenimento alla formazione, dalla medicina alla progettazione, permettendo dunque agli utenti di immergersi in ambienti simulati sempre nuovi e interattivi. L’arricchimento e l’evoluzione di queste tecnologie è sicuramente possibile anche grazie al crescente utilizzo delle AI, che con l’uso di tecniche di machine learning e natural language processing, stanno diventando sempre più capaci nella comprensione del linguaggio naturale e nell’analizzare i dati in modo autonomo, offrendo soluzioni innovative e migliorando l’efficienza e la qualità dell’esperienza utente. In questa tesi si vogliono esplorare le nuove capacità che l’integrazione che l’integrazione della realtà mista (MR) e dell’AI conversazionale possono portare alla navigazione Web, al fine di creare un nuovo tipo di esperienza MR che possa rappresentare un passo avanti rispetto alle possibilità attuali nella navigazione Web. In particolare, questa tesi vuole investigare l’uso dell’AI conversazionale per abilitare e facilitare l’accesso ai dati sul Web in un ambiente MR consentendo all’utente di "parlare con l’interfaccia" per richiedere e navigare il contenuto estratto dal Web. La tesi propone un framework concettuale che facilita l’integrazione di queste tecnologie e propone un prototipo preliminare in cui: Unity e MRTK (Mixed Reality Toolkit) vengono utilizzati per creare un’interfaccia 3D che gestisce l’ambiente di realtà aumentata, mentre il Conversational Web Framework (ConWeb), che può gestire un’esperienza di navigazione Web orientata alla conversazione, viene adottato per gestire la navigazione e la comprensione del linguaggio naturale.