Integrating large language models into extended reality environments for enhanced user experiences

This thesis describes the integration of large language models with extended reality with the goal of improving the user experience. The study focuses on solving the associated technical challenges, at the same time highlighting the opportunities through the implementation of practical prototypes that demonstrate their effectiveness. The research delves into the possibilities offered by language models and their application in industrial settings by showing how they can enable much more natural modes of interaction, thus making XR applications more intuitive and accessible. The results show that the integration of LLM into XR is not only possible, but also brings important added value to the user experience, opening up totally new perspectives toward immersive interactions. The thesis can thus provide a solid basis for further research and development in this area, highlighting the potential of combining advanced technologies to create innovative solutions.

Questa tesi descrive l'integrazione dei modelli linguistici di grandi dimensioni con la realtà estesa con l'obiettivo di migliorare l'esperienza dell'utente. Lo studio si concentra sulla risoluzione delle sfide tecniche associate, allo stesso tempo evidenzia le opportunità tramite la realizzazione di prototipi pratici che ne dimostrano l'efficacia. La ricerca approfondisce le possibilità offerte dai modelli linguistici e la loro applicazione in contesti industriali mostrando come essi possano consentire modalità di interazione molto più naturali, rendendo così le applicazioni XR più intuitive e accessibili. I risultati dimostrano che l'integrazione di LLM in XR non solo è possibile, ma porta anche un importante valore aggiunto all'esperienza utente, aprendo prospettive totalmente nuove verso le interazioni immersive. La tesi può quindi costituire una base solida per ulteriori ricerche e sviluppi in questo ambito, sottolineando il potenziale di combinare tecnologie avanzate per creare soluzioni innovative.