Bridging realities: advancing human-avatar interaction through sensory translation systems in the physical metaverse

This thesis explores human-robot interaction, focusing on sensory translation to enable humans to embody non-humanoid robot avatars in combined physical and virtual spaces. The core component is a Sensory Translation System, which connects a human Controller to a teleoperated Physical Avatar, in order to study nonverbal communication during a structured activity with an external human Visitor. The research integrates technologies and methodologies, including hardware, like virtual reality headsets and robots with sensory inputs, and software, for environmental affordance information extraction and human pose translation. This technology bridges the communication gap between the avatar and the human Visitor. Experiments in shared physical and virtual environments were conducted, using questionnaires for user feedback. The study adapted the Physical Metaverse framework to various robotic platforms and showcased new Human Translations at the X-Cities exhibition and at a Milano Digital Week event. A key part of the thesis is the "First Contact" experience at X-Cities, demonstrating the potential of this technology in human-robot interaction and expanding the Physical Metaverse. The experience includes two "Mazes": a virtual one, where users embody the Physical Avatar, and a physical one, where they interact with the avatar. In "The Virtual Maze" users felt a connection with the virtual being, with mixed reactions on understanding its actions and intentions. Some tried communicating, feeling a sense of companionship. In "The Physical Maze" users often perceived the robot as intelligent, developing emotional connections to varying degrees. A core component that steered and sped up the development is a simulation that is in fact a digital twin of our real system. This research advances human-robot interaction technology and provides ground for valuable insights into robotics, human-computer interaction, and possibly psychology. It lays the foundation for future experiments within the framework of the Physical Metaverse, exploring theories and applications in sensory translation, human pose translations.

Questa tesi esplora l'interazione uomo-robot, concentrandosi sulla traduzione sensoriale per permettere agli umani di impersonare avatar robotici non umanoidi in spazi fisici e virtuali combinati. Il componente principale è un Sistema di Traduzione Sensoriale che connette un operatore umano a un avatar fisico teleoperato, per studiare la comunicazione non verbale durante un'attività strutturata con un visitatore umano esterno. La ricerca integra tecnologie e metodologie, inclusi hardware, come visori per la realtà virtuale e robot con input sensoriali, e software, per l'estrazione delle informazioni di affordance ambientale e la traduzione della posa umana. Questa tecnologia colma il divario comunicativo tra l'avatar e il visitatore umano. Sono stati condotti esperimenti in ambienti fisici e virtuali condivisi, utilizzando questionari per il feedback degli utenti. Lo studio ha adattato il framework del Physical Metaverse a varie piattaforme robotiche e presentato nuove traduzioni umane nella mostra X-Cities e a un evento della Milano Digital Week. Una parte fondamentale della tesi è l'esperienza "First Contact" a X-Cities, che dimostra il potenziale di questa tecnologia nell'interazione uomo-robot e nell'espansione del Physical Metaverse. L'esperienza include due "Mazes": uno virtuale, dove gli utenti impersonano l'avatar fisico, e uno fisico, dove interagiscono con l'avatar. Nel "Virtual Maze" gli utenti hanno sentito una connessione con l'essere virtuale, con reazioni miste sulla comprensione delle sue azioni e intenzioni. Alcuni hanno provato a comunicare, sentendo un senso di compagnia. Nel "Physical Maze" gli utenti hanno spesso percepito il robot come intelligente, sviluppando connessioni emotive a vari livelli. Un componente centrale che ha guidato e accelerato lo sviluppo è una simulazione rappresenta un digital twin del nostro sistema reale. Questa ricerca fa avanzare la tecnologia dell'interazione uomo-robot e fornisce basi per intuizioni preziose nella robotica, nell'interazione uomo-computer e, possibilmente, nella psicologia. Pone le fondamenta per futuri esperimenti all'interno del quadro del Physical Metaverse, esplorando teorie e applicazioni nella traduzione sensoriale e nella traduzione della posa umana.