Digital Twin of a Robotic Arm for Virtual Reality simulations, monitoring and training

This thesis aims at proposing a methodology to develop Digital Twins of robotic arms for immersive Virtual Reality simulations, monitoring and training. Through immersive simulations, it is possible to improve productivity and reduce costs by limiting downtime and production waste. Secondly, the possibility to access the status of the real device remotely enables operation monitoring and correct execution verification. The use of Virtual Reality makes it possible to analyze processes from points of view which are not otherwise accessible for safety reasons. Moreover, the development of a virtual instruction manual aims at making the training of operators more efficient and safer with innovative and interactive learning techniques. In the current thesis a Digital Twin of a 6 Degrees of Freedom (DOF) robotic arm is implemented. The approach used involves the definition of a centralized architecture comprising a core and a series of additional modules which extend the Digital Twin’s functionalities. The core is developed in the Unity3D game engine and contains the virtual model of the robotic arm. The additional modules are developed partly in C#, partly within Docker containers and integrated with the Digital Twin via TCP/IP communication. In particular, the following modules have been implemented: a module with the Robot Operating System for simulation and control, a module with an MQTT Broker for IIoT data transmission, a module for collision detection and a module for training with WEAVR, a Unity plug-in for creating virtual training procedures. A case study, proposed by a company operating in the dental sector has been used to test the proposed architecture: a robotic cell for the post-processing of orthodontic aligners has been taken as reference. After the implementation, a set of tests with 30 users has been carried out to evaluate the efficacy of VR-based training compared to traditional practice (e.g., with printed manuals).

Questo progetto di tesi ha l’obiettivo di proporre una metodologia per sviluppare Digital Twin di bracci robotici per simulazioni immersive, monitoraggio e training. Attraverso simulazioni immersive è possibile migliorare la produttività e ridurre i costi limitando fermi macchina e scarti di produzione. In secondo luogo, accedere da remoto allo stato del dispositivo permette di monitorarne il funzionamento e di verificare la corretta esecuzione delle operazioni. L’utilizzo della Realtà Virtuale consente di analizzare i processi da punti di osservazioni non altrimenti accessibili per motivi di sicurezza. Infine, lo sviluppo di un manuale di istruzioni virtuale ha lo scopo di efficientare e rendere più sicura la formazione degli operatori con tecniche di apprendimento innovative e interattive. Nell'attuale progetto di tesi viene implementato un gemello digitale di un braccio robotico a 6 Gradi di Libertà (GdL). L’approccio utilizzato prevede la definizione di un’architettura centralizzata dotata di un core e di una serie di moduli addizionali che permettono di estendere le funzionalità del Digital Twin. Il core è sviluppato nel motore di gioco Unity3D e contiene il modello virtuale del braccio robotico. I moduli addizionali sono sviluppati in parte in C#, in parte all’interno di appositi container Docker e integrati con il Digital Twin tramite comunicazione TCP/IP. In particolare, sono stati realizzati: un modulo con il Robot Operating System (ROS) per simulazione e controllo, un modulo con un Broker MQTT per la trasmissione dati IIoT, un modulo per il rilevamento collisioni e un modulo per il training realizzato con WEAVR, un plug-in di Unity per la creazione di procedure virtuali. Un caso di studio, fornito da una azienda operante nel settore dentale, è stato utilizzato per testare l'architettura proposta: è stata presa come riferimento una cella robotica per il post-processing di allineatori ortodontici. Dopo l'implementazione, è stata condotta una serie di test con 30 utenti per validare l'efficacia della formazione basata sulla Realtà Virtuale rispetto a quella tradizionale (ad esempio con manuali stampati).