Online human intention recognition for reactive robot behavior in human-robot interaction

In the field of collaborative robotics it is important for the robot to have some information about the state of the human operator it is collaborating with. In particular, the problem of recognizing and predicting the human intention was addressed, in order to execute a correct and timely response. An approach based on supervised learning of Conditional Random Fields, an intuitive discriminative probabilistic graphical model, is proposed in this Thesis. The model includes a temporal chain of sub-actions, elementary motions which form the higher level actions representing the human intentions. A combination of dynamic programming techniques and statistical mechanics interpretation are used to infer on-line both the structure of the graphical model and the class of its sub-action nodes, conditioning on the sampled operator's skeletal joints positions and gaze direction data. An estimate of the overlaying action sequence is obtained confronting the sub-actions sequence with a dataset of action specific ones, using a mix of k-Nearest Neighbor search and voting consensus methods. The algorithm has been tested on a collaborative parallel assembly of semifinished products process. The results indicate that a reliable recognition of an ongoing action can be achieved even when the action is only half completed, reducing the waiting time on the robot reaction and the total production cycle time.

Nel campo della robotica collaborativa è importante che il robot abbia qualche informazione sullo stato dell'operatore con cui sta collaborando. In particolare, è di interesse il problema di riconoscere e predire l'intenzione umana, allo scopo di ottenere una risposta corretta e tempestiva da parte del robot. A questo scopo in questa Tesi si propone un approccio basato sull'apprendimento supervisionato di Conditional Random Fields, un modello grafico probabilistico intuitivo e discriminante. Il modello include una catena temporale di sotto-azioni, movimenti elementari che formano le azioni di più alto livello che rappresentano le intenzioni umane. Per ottenere tramite inferenza on-line sia la struttura del modello grafico che la classe dei suoi nodi rappresentanti sotto-azioni, è stata usata una combinazione di tecniche di programmazione dinamica e di interpretazione statistica meccanica, condizionando il modello in funzione dei dati campionati sulla posizione dei giunti scheletali dell'operatore e sulla direzione del suo sguardo. Si ottiene quindi una stima della sequenza di azioni confrontando la sequenza di sotto-azioni con un dataset di sequenze relative ad azioni specifiche, usando un insieme di ricerca k-Nearest Neighbor e di metodo del consenso. L'algoritmo ottenuto è stato testato su un processo collaborativo di assemblaggio parallelo di semilavorati. I risultati indicano che può essere ottenuto un riconscimento affidabile di una azione in corso anche quando questa è stata solo parzialmente completata, riducendo sia il tempo di attesa sulla reazione del robot che il tempo di ciclo totale.