VR-enabled social robotics: development and evaluation of an immersive teleoperation platform for human-robot interaction

This thesis presents the development of Tino V2, a social robotics platform designed for immersive Virtual Reality (VR) teleoperation while preserving the expressive movement capabilities required for natural human-robot interaction. Building upon the limitations of a legacy Raspberry Pi-based system, Tino V2 introduces a modern distributed architecture that integrates advanced sensing and real-time AI processing. The system combines Ultra-Wideband (UWB) positioning with RTABMap visual SLAM to achieve a 4.7× improvement in localization accuracy, while real-time human perception is enabled through a YOLOv11-based 3D pose estimation pipeline operating at sub-24 ms latency. A ROS2–Unity communication framework supports natural VR-based robot control with 98% command reliability, while distributed execution on NVIDIA Orin Nano enables concurrent SLAM, perception, and sensor fusion processes with 93% uptime. Evaluation with twelve participants in collaborative maze scenarios demonstrated that immersive VR control allows effective spatial coordination, non-verbal communication, and problem-solving, confirming that teleoperation can sustain the social qualities essential for meaningful human-robot interaction. This work contributes novel methods for hybrid localization, VR-optimized movement primitives, and a comprehensive framework for evaluating VR-mediated social interaction. Results establish immersive teleoperation as a viable paradigm for social robotics research, laying the groundwork for future studies in telepresence, empathy transfer, and distributed collaboration.

Questa tesi presenta lo sviluppo di Tino V2, una piattaforma di robotica sociale progettata per la teleoperazione immersiva in Realtà Virtuale (VR) mantenendo le capacità di movimento espressive necessarie per un'interazione naturale uomo-robot. Basandosi sulle limitazioni di un sistema legacy basato su Raspberry Pi, Tino V2 introduce un'architettura distribuita moderna che integra sensori avanzati e elaborazione AI in tempo reale. Il sistema combina il posizionamento Ultra-Wideband (UWB) con RTABMap visual SLAM per ottenere un miglioramento di 4,7× nella precisione di localizzazione, mentre la percezione umana in tempo reale è abilitata attraverso un pipeline di stima della posa 3D basata su YOLOv11 che opera con una latenza inferiore a 24 ms. Un framework di comunicazione ROS2–Unity supporta il controllo naturale del robot basato su VR con una affidabilità del comando del 98%, mentre l'esecuzione distribuita su NVIDIA Orin Nano consente processi simultanei di SLAM, percezione e fusione dei sensori con un uptime del 93%. La valutazione con dodici partecipanti in scenari collaborativi di labirinti ha dimostrato che il controllo immersivo in VR consente una coordinazione spaziale efficace, comunicazione non verbale e problem-solving, confermando che la teleoperazione può sostenere le qualità sociali essenziali per un'interazione significativa uomo-robot. Questo lavoro contribuisce con metodi innovativi per la localizzazione ibrida, primitive di movimento ottimizzate per la VR e un framework completo per la valutazione dell'interazione sociale mediata dalla VR. I risultati stabiliscono la teleoperazione immersiva come un paradigma praticabile per la ricerca sulla robotica sociale, ponendo le basi per futuri studi sulla telepresenza, il trasferimento di empatia e la collaborazione distribuita.