MENTOR : wearable AR projector for augmented workplace training

This thesis unfolds the development of MENTOR, a wearable AR projector for augmented training in manufacturing. The project proposes a novel approach to the design of spatial computing devices, enabling augmented content to be accessed without a head-mounted display. MENTOR is a body-mounted device designed to be compatible with work clothes and equipment. The value of wearing such device resides in the acquisition of spatial data and display of contextual information, creating a truly immersive experience for the wearer by blending the two functions together. MENTOR deploys computer vision technologies such as cameras, depth sensor and microphones, to map the surrounding environment and create a digital twin of the plant and every piece of equipment in it. This virtual copy is then used as a canvas to paint contextual information onto the real-world surfaces, by means of an integrated pico-projector. By wearing MENTOR, workers will see environments, machinery, and objects come to life, becoming animated, highlighted, and rich in useful information. All these data guide the unexperienced workers through all the steps of their task, so that they can learn the correct process firsthand, exactly when they need it. MENTOR is not a replacement for the current training method based on a trainer-trainee relationship, rather it should be considered as a tool that makes such relationship more efficient and always accessible. The shared knowledge of human mentors remains essential to the training of new hires, what changes is the way this knowledge is taught. Experienced workers, by wearing this device, can record their workflow during any work activity. Such recording is then converted into an immersive tutorial and assigned to a specific location or equipment, enriching the digital layer with specific experience and insights gained in years of work. Research to support this thesis focuses on the key technologies necessary to design augmented experiences, as well as the main trends related to spatial computing in manufacturing and education. Finally, contextual research has been carried out to analyze workflow, environments, and work equipment. The main design output of this thesis is the executive design of the MENTOR device, supported by several studies on materials, manufacturing and assembly processes, UX flows and wearability testing with 1:1 prototype.

Questa tesi illustra lo sviluppo di MENTOR, un proiettore indossabile per il training in realtà aumentata nel settore manifatturiero. Il progetto propone un approccio innovativo allo sviluppo di dispositivi di spatial computing, permettendo la visualizzazione di contenuti AR senza un display “head-mounted”. MENTOR si indossa sul torace, ed è progettato per essere compatibile con gli abiti e le attrezzature da lavoro. Il vantaggio di indossare un prodotto di questo tipo consiste nell'acquisizione di dati spaziali e visualizzazione di informazioni contestuali. Fondendo insieme le due funzioni, questo device crea un’esperienza di apprendimento immersiva per chi lo indossa. MENTOR utilizza tecnologie di computer vision come telecamere, sensori di profondità e microfoni, per mappare l'ambiente circostante e creare un digital twin dell'impianto e i macchinari al suo interno. Questa copia virtuale viene poi utilizzata come base per posizionare informazioni virtuali sulle superfici dell’ambiente reale, grazie a un pico-proiettore integrato. Indossando MENTOR, i lavoratori vedranno ambienti, macchinari e oggetti prendere vita, diventando animati, con elementi evidenziati e ricchi di informazioni utili. Tutti questi dati guidano i lavoratori inesperti attraverso le fasi del loro lavoro, in modo che possano imparare il processo corretto in prima persona, esattamente quando ne hanno bisogno. MENTOR non sostituisce l'attuale metodo di insegnamento basato sul rapporto tra formatore e apprendista, ma è piuttosto uno strumento che rende tale rapporto più efficiente e sempre accessibile. La conoscenza condivisa dai lavoratori senior rimane essenziale per la formazione dei nuovi assunti, ciò che cambia è il modo in cui questa conoscenza viene insegnata. I lavoratori esperti, indossando questo dispositivo, possono registrare il loro flusso di lavoro durante qualsiasi attività lavorativa. Tale registrazione viene poi convertita in un tutorial immersivo e ancorata in un luogo o su un'attrezzatura specifica, arricchendo il layer digitale con esperienza specifica e intuizioni acquisite in anni di lavoro. La ricerca a supporto di questa tesi si concentra sulle tecnologie chiave necessarie per progettare esperienze AR, nonché sulle principali tendenze legate allo spatial computing nella manifattura e nell'istruzione. Infine, è stata condotta una ricerca sul campo per analizzare il flusso di lavoro, gli ambienti e le attrezzature di lavoro. Il principale output di questa tesi è il progetto esecutivo del dispositivo MENTOR, supportato da studi sui materiali, sui processi di produzione e assemblaggio, sui flussi UX e sui test di indossabilità con un prototipo scala 1:1.