XR application for remote operations

This thesis work contributes to research on the integration of XR technology into remote control systems. Making use of the Varjo XR-3 headset and its Mixed Reality features, the thesis presents a comprehensive approach involving design, implementation, user testing, and iterative refinement of an interface for remotely operating Kalmar Cargotec's reach stackers, an off-highway type of vehicle used in logistic hubs. For interactions, the application makes use of both physical devices, namely a Logitech G29 steering wheel and a Logitech Extreme 3D joystick, and hand-tracking gestures. The two input systems have different purposes and they are designed to allow for a seamless transition between each other. Scene visualization is provided both by the XR-3 and by a traditional monitor, which is also visible when wearing the HMD thanks to its pass-through capabilities. A pilot test was conducted to evaluate the application's usability and to retrieve more information about real-life scenarios. Results show that, for information and scene visualization, XR can be beneficial in specific contexts (i.e. driving the reach stacker), while other contexts (i.e. aligning the spreader's twistlocks to a container's casting corners) prefer traditional on-screen visualization. On the other hand, the results also suggest that the system has to offer interactions with physical devices for controlling the reach stacker, with XR interactions (i.e. hand-tracking gestures) only being used for additional interactions and commands, such as repositioning inside the virtual scene, that are not directly related to the remote control of physical machinery. User feedback represented the basis for iterative design improvements, guaranteeing alignment with user preferences and operational needs. Future development includes technical and UX improvements that can be made to the application, as well as a second user test on the redesigned application to assess its improvements.

La presente tesi contribuisce alla ricerca sull'integrazione di tecnologie di extended reality (XR) in sistemi di controllo remoto. Viene presentato uno studio che fa uso del visore per realtà mista Varjo XR-3 e che coinvolge design, implementazione, user test e perfezionamento iterativo (redesign) di un'interfaccia per il controllo remoto di reach stacker, un tipo di veicolo utilizzato per spostare container in hub logistici fornito da Kalmar Cargotec. A livello di interazioni, l'applicazione utilizza sia dispositivi fisici, ovvero un volante Logitech G29 e un joystick Logitech Extreme 3D, sia menu virtuali con cui interagire tramite hand-tracking. Questi due sistemi di input sono progettati per consentire interoperabilità senza soluzione di continuità tra loro. La scena può essere visualizzata sia tramite realtà mista sull'XR-3 che su un monitor tradizionale, il quale rimane visibile anche dopo aver indossato il visore grazie alla sua funzionalità di pass-through tramite videocamere. Un pilot test è stato condotto per valutare la usability della applicazione e per avere un riscontro concreto sugli use case in cui la applicazione è contestualizzata. I risultati mostrano che, per la visualizzazione di una scena da remoto, l'XR può essere utile in contesti specifici (ad esempio per la guida del reach stacker), mentre altri contesti prediligono una tradizionale visualizzazione su schermo (ad esempio allineare i twistlock dello spreader ai blocchi d'angolo di un container). I risultati suggeriscono anche che, con la tecnologia attualmente disponibile, un tale sistema debba offrire interazioni con dispositivi fisici per il controllo del reach stacker, e che le interazioni XR (ovvero quelle tramite hand-tracking) vengano utilizzate solo per interazioni e comandi aggiuntivi, come il riposizionamento dell'utente all'interno della scena nel mondo virtuale, che non sono direttamente correlate al controllo remoto di macchinari fisici. La fase di redesign è stata condotta a partire dal feedback degli utenti, in modo da garantire allineamento tra le preferenze dell'utente e le esigenze operative. Sviluppi futuri includono possibili miglioramenti all'applicazione sia dal punto di vista tecnico e che di user experience (UX), ed un secondo user test per valutare i miglioramenti dell'applicazione dopo la fase di redesign.