Improving the quality of human-robot collaboration by exploiting hands-head tracking

In a human-robot collaborative framework, endowing the robot with the capability of recognizing in advance the operator's intention proved to be beneficial for enhancing the quality of the cooperation. In this Thesis the problem of intention inference is addressed by using a new recursive Bayesian classifier which is capable of inferring simultaneously the most likely right hand and left hand reaching targets, relying on a set of measured skeletal positions. These measurements, retrieved by means of an RGB-D camera, include both wrist positions and an estimate of the operator's gaze. Indeed, this latter measure constitutes a powerful means of nonverbal communication exploited by humans to make their inner intents more explicit. In a collaborative framework, its use appears to be crucial for further improving the inference process, since its observation could provide an additional indication about the target the operator's hand will be intended to reach. The likelihood function which jointly considers the contribution of this wide set of observations is modelled through a Gaussian Mixture Model (GMM), learnt from data in a supervised manner. Since the exact goal positions are uncertain, each target location is described as a random variable having a certain probability distribution. The performance achieved through the new inference algorithm highlighted that the gaze measure was fundamental for guaranteeing higher robustness to the inference process. Moreover, the benefits of establishing a human-robot bidirectional information exchange during the collaborative process are investigated. Indeed, while the inference process is ongoing, the human co-worker could be kept informed about the prediction performed by the robot, for instance, by receiving an haptic feedback in the crucial phases of the collaboration. Considering all these aspects together can definitely improve the effectiveness of the collaboration.

Nell'ambito della collaborazione uomo-robot, dotare il robot della capacità di riconoscere in anticipo l'intenzione dell'operatore si è rivelato vantaggioso al fine di migliorare la qualità della collaborazione. In questa Tesi il problema di dedurre la suddetta intenzione è affrontato ricorrendo a un nuovo classificatore ricorsivo Bayesiano capace di stimare simultaneamente quale sia il più probabile goal che verrà raggiunto da ciascuna mano, basandosi su un insieme di posizioni scheletali di interesse misurate. Tali misure, ottenute tramite una telecamera RGB-D, includono la posizione di entrambi i polsi e una stima dello sguardo dell'operatore. Quest'ultima misura, infatti, costituisce un potente mezzo di comunicazione non verbale impiegato dall'uomo per rendere più esplicite le proprie intenzioni. In un contesto collaborativo il suo impiego appare fondamentale per migliorare il processo di inferenza, dal momento che questa osservazione può fornire un'indicazione aggiuntiva dell'obiettivo che la mano dell'operatore è intenzionata a raggiungere. La funzione di verosimiglianza che considera congiuntamente il contributo di questo ampio insieme di osservazioni è modellizzata mediante un Gaussian Mixture Model (GMM) appreso dai dati in modo supervisionato. Poiché le posizioni obiettivo potrebbero essere non note con esattezza, ognuna di esse è espressa come variabile aleatoria caratterizzata da una certa distribuzione di probabilità. Le prestazioni raggiunte mediante il nuovo algoritmo di inferenza evidenziano che la misura dello sguardo è fondamentale per garantire una maggiore robustezza al processo di inferenza. Sono stati inoltre analizzati i vantaggi di stabilire uno scambio di informazioni bidirezionale tra uomo e robot durante il processo di inferenza. Infatti, mentre quest'ultimo è in corso, l'uomo potrebbe esser tenuto informato sulla predizione effettuata dal robot, ad esempio, ricevendo un feedback tattile durante le fasi cruciali della collaborazione. Considerare congiuntamente i suddetti aspetti migliora significativamente l'efficacia della collaborazione.