Classification and prediction of human gestures in manual assembly tasks

The ongoing automation of traditional manufacturing and industrial processes through modern smart technology represents the so-called industry 4.0. Collaborative robots are emerging not only in the industrial context but even outside factories. The concept of human-robot collaboration (HRC) combines the advantages of both industrial robots and human workers. This work focuses on the development of an online system able to monitor an assembly operation to be integrated into a human collaborative context. In this situation, the hands position represents the more effective point to extract relevant information, and a Kinect tracking system has been employed. In the perspective of monitoring an assembly operation, two main factors need to be kept into account. The first consist of the different order of the assembly operation that depends on the operator expertise. A segmentation method has been proposed based on both the velocity and position, for the identification of different task. The second is related to the recognition of a different task performed after the picking of the same part. For this purpose, a possible generalization of an assembly task has been discussed and an “assembly gesture” is defined accordingly. Two different approaches are followed to perform an online prediction and classification of such assembly gesture, one based on the dynamic time warping algorithm (DTW), and the other with a Convolutional Neural Network (CNN). The requirement of a low computation cost for an online implementation and the high level of noise present in the acquired data lead to a process of trajectory simplification for both the training and the online data. A case study related to the assembly of a specific workpiece is presented together with the evaluation of the performance of the proposed solutions.

Negli ultimi anni lo sviluppo industriale si è focalizzato sull’automazione di processi produttivi attraverso l’utilizzo di tecnologie innovative in un contesto che viene definito industria 4.0. In particolare, l’uso di robot collaborativi si è diffuso non solo in applicazioni industriali ma anche in altri ambiti. Il suo impiego permette di sfruttare i vantaggi dati sia da operazioni manuali che automatizzate. In questo lavoro viene presentato un sistema di monitoraggio di operazioni di assemblaggio funzionante real time e dunque utilizzabile nel caso di operazioni collaborative. Per questo tipo di operazioni, le informazioni principali arrivano dalla posizione e dal movimento delle mani e per il loro tracciamento è stato utilizzato un dispositivo Kinect. Per il corretto funzionamento di un’operazione di assemblaggio, ci sono due problemi principali da tenere in considerazione. Il primo riguarda la possibilità che una stessa operazione possa essere fatta seguendo sequenze diverse nell’assemblaggio dei componenti. Il secondo è inerente alla necessità di conoscere l’operazione che segue l’afferraggio di un componente che può avere diversi utilizzi. Per risolvere questo problema, il concetto di operazione di assemblaggio è stato generalizzato e di conseguenza introdotto il concetto di “assembly gesture”. Sono stati quindi seguiti due approcci per la predizione e classificazione di queste gestures: uno basato sull’algoritmo di Dynamic Time Warping e l’altro basato su una Rete Neurale Convoluzionale. La necessità di mantenere un basso costo computazionale nell’ottica di un’implementazione online e di ridurre i disturbi nei dati dovuti al sistema di acquisizione, hanno portato alla creazione di un processo di semplificazione delle traiettorie sia di training che online. L’applicazione degli algoritmi presentati viene riportata in un esempio applicativo relativo a un processo di assemblaggio manuale e ne vengono mostrati i risultati.