Human intention prediction with prior knowledge and adaptive model tuning for human-robot collaboration

Nowadays the field of collaborative robotics is rapidly growing, proposing many solutions for improving the efficiency of the industrial processes as well as the human working conditions. A collaborative robot guarantees the operator security but, in order to be efficient, it must guarantee also the adaptability with respect to the human actions and intentions. In order to obtain such a desired behavior, the operator must be tracked by means of external tools as, for example, cameras and motion sensors. All data obtained and processed must act as an aid for the robot, driving the decision making process about the actions to be performed. An example is the prediction of the human actions, which allow the robot to evaluate which actions to execute for improving the collaboration with the human and the efficiency of the process. In previous studies, the prediction of the sequence of human actions did not allow to effectively calculate the waiting times for the execution of the actions and did not consider a prior knowledge that could exist about the process. Furthermore, the performance of many models was highly dependent on the data on which they were trained, reducing the predictive abilities in the case of some change occurs in the sequence of the performed actions. The aim of this thesis is to improve the prediction of the sequences of human actions, introducing a probabilistic model capable of predicting both the future human activities and their duration. Furthermore, it is possible to insert an a priori knowledge in the form of soft constraints. Finally, the model is able to automatically modify its structure in order to guarantee an optimal prediction with respect to the human actions. To validate the proposed algorithm, realistic test cases of human robot collaboration were executed using a dual arm cobot: YuMi of ABB.

Il campo della robotica collaborativa è oggi in forte crescita, studiando applicazioni che consentono di migliorare sia l’efficienza dei processi industriali sia le condizioni di lavoro degli operatori umani. Il robot collaborativo garantisce la sicurezza dell’uomo ma, al fine di essere efficiente, deve garantire anche l’adattività rispetto alle azioni e intenzioni umane. Per ottenere questo comporamento, l’operatore va monitorato tramite l’utilizzo di strumenti esterni, come ad esempio telecamere e sensori di movimento. I dati ottenuti devono essere elaborati per fungere da ausilio al robot, guidandolo nella scelta delle azioni da compiere. Un esempio di utilizzo è rappresentato della previsione delle azioni umane, che permette al robot di valutare quali azioni svolgere al fine di migliorare la collaboratività con l’uomo e l’efficienza del processo. Negli studi precedentemente svolti, la previsione della sequenza di azioni umane non consentiva di calcolare efficacemente i tempi di attesa per l’esecuzione delle azioni e non era in grado di considerare la conoscenza a priori che potrebbe esistere sul processo. Inoltre, le prestazioni di molti modelli sono fortemente dipendenti dai dati sui quali sono stati addestrati, riducendo le abilità predittive nel caso in cui avvenga qualche variazione nella sequenza di azioni che si ripetono. L’obiettivo di questa tesi è migliorare la predizione delle sequenze di azioni che può svolgere un operatore umano, introducendo un modello probabilistico in grado di predire sia le future azioni sia i relativi tempi di esecuzione. Inoltre, è possibile inserire la conoscenza a priori sottoforma di vincoli. Infine, il modello è in grado di modificare automaticamente la propria struttura al fine di garantire una predizione ottimale rispetto alle azioni umane. Per validare il nuovo algorimo sono stati condotti esperimenti realistici di collaborazione uomo-robot, utilizzando il robot ABB YuMi.