An intuitive augmented reality interface for task scheduling, monitoring, and performance improvement in human-robot collaboration

Human-Robot Interaction (HRI) is a field of growing interest among the scientific community. The recent progress in developing powerful and reliable lightweight collaborative robots (cobots), depicts new prospects in the area of physical Human-Robot Interaction. Nowadays, in fact, humans perform collaborative tasks with robots without fences. One of the open challenges in Human-Robot collaborative tasks is to provide a simple way for humans to understand robotic systems’ plans and actions and to interact with them in the most natural way. The absence of a rich and instant communication in human-robot teams, decreases the trust of the humans on the robot and the perception of robot user-friendliness. To face this challenge, several devices have been developed, for instance, wearable and haptic devices. Towards the direction of natural interaction between humans and robots, we propose a simple and intuitive interface exploiting the emergent Augmented Reality (AR) technology. AR combines real-world and computer-generated data to enhance the user experience. The aim of this thesis is to design an AR interface capable of improving human situational awareness during Human-Robot Collaboration. The presented interface enables the human operators to interact with the system sending commands (gesture or vocal) and receiving instant feedback (holograms and sound) through an AR device, enabling an intuitive way to coordinate human and robot actions. Therefore, this interface aims not only to enhance human awareness of the robot status and planned actions during collaborative tasks, but also to improve the quality of the work. In order to validate the interface, an experimental investigation was conducted. Three different human-robot collaborative experiments were conducted, each of them was performed to test specific characteristics of the interface. In the first experiment, we investigated the benefits introduced at high level by the AR interface with a collaborative assembly task experiment. Secondly, the AR interface communicates to the user the amount of force applied to the robot end-effector when polishing a rough wooden surface (low level information). In the last experiment, we exploited the benefits introduced by the AR interface (highlighted by the first two experiments) to perform a manipulation of some beakers in which the human operator teleoperates the robot. The experimental results showed that the presented AR interface can be exploited to improve human operators’ performance during a collaborative task. At the same time, the usage is also perceived as beneficial by the subjects that tested the interface in the experiments, as they stated in the Likert based questionnaire. Finally, our analysis suggests that the proposed AR interface allows to perform Human-Robot collaborative tasks in a more natural and efficient way.

L’interazione uomo-robot è un’area di ricerca che sta riscuotendo un crescente interesse nella comunità scientifica. I recenti progressi nella progettazione di efficienti robot collaborativi, designano nuove prospettive nel campo dell’interazione uomo-robot. Oggigiorno, infatti, l’uomo esegue compiti collaborativi con i robot in totale sicurezza senza barriere o protezioni. Una delle più grandi sfide nel campo dell’interazione uomo-robot è quella di progettare delle interfacce che consentano all’uomo di comprendere le azioni e i movimenti pianificati dal robot, per interagire con esso nel modo più naturale possibile. L’assenza di una comunicazione istantanea uomo-robot, però, contribuisce a diminuire la fiducia dell’uomo nelle tecnologie robotiche e ad avere una percezione di difficoltà nell’utilizzarle. Per affrontare questa sfida, molteplici interfacce uomo-robot, basate su diverse tecnologie, sono state sviluppate nel corso degli anni. Inoltre sono stati progettati nuovi dispositivi ad hoc, per favorire una semplice interazione tra uomo e robot, come ad esempio i dispositivi indossabili o quelli tattili. In questa tesi, è stata progettata e sviluppata un’interfaccia di Realtà Aumentata facile e intuitiva, in grado di migliorare la consapevolezza dell’uomo durante l’esecuzione di un compito collaborativo con un robot. La Realtà Aumentata migliora l’esperienza dell’utente combinando dati reali con dati generati artificialmente. L’interfaccia presentata in questa tesi, consente all’operatore umano di interagire con il sistema inviando comandi (interazione gestuale o vocale) e ricevendo informazioni (ologrammi e suoni) attraverso un dispositivo di Realtà Aumentata. In questo modo l’uomo potrà coordinare in modo efficiente le sue azioni con quelle del robot. Perciò questa interfaccia oltre a migliorare la consapevolezza dell’operatore umano riguardo allo stato del robot e ai suoi movimenti pianificati, comporta anche un miglioramento delle performance. Per validare l’interfaccia sviluppata è stata condotta un’analisi sperimentale. In particolare sono stati svolti 3 diversi esperimenti basati sulla collaborazione uomo-robot, ognuno di essi è stato eseguito per testare specifiche caratteristiche dell’interfaccia. Nel primo esperimento si esegue un assemblaggio collaborativo di una struttura metallica, durante il quale l’operatore umano riceve informazioni riguardo alle azioni di assemblaggio pianificate e allo stato del robot (informazioni di alto livello). Nel secondo esperimento, l’interfaccia di Realtà Aumentata fornisce all’utente informazioni riguardo alla forza applicata all’organo terminale del robot (informazioni di basso livello) durante la lievigatura collaborativa di una superficie di legno. Infine, nel terzo esperimento si è deciso di sfruttare le caratteristiche dell’interfaccia messe in evidenza nei primi due esperimenti per consentire all’operatore di manipolare a distanza alcuni bechers teleoperando il robot. I risultati degli esperimenti dimostrano che l’interfaccia che abbiamo sviluppato, è percepita dagli operatori come uno strumento utile durante la collaborazione con un robot. Inoltre, è dimostrato che questa interfaccia basata sulla Realtà Aumentata, aiuta a migliorare le performance degli operatori umani. In conclusione, si può affermare che l’interfaccia di realtà aumentata proposta permette all’uomo di eseguire compiti collaborativi con un robot in modo più naturale ed efficiente.