A Siamese Network based approach for assembly step recognition and quality assessment in human-robot collaboration

This thesis proposes an approach based on the use of a Siamese Neural Network to identify the current phase of an assembly in a collaborative context with a human operator and a robot working together, simultaneously providing indications about the correctness of the last operation performed. An algorithm for operator's hand tracking returns the time instant when to capture the image of the last-completed step. The online-acquired image is given as input to the Siamese Network, along with a set of reference images representative of each operation of the current assembly, executed in the correct way. Based on the dissimilarity values computed by the network, it is possible to identify the performed operation, accompanied by information regarding its correctness. The model performance was evaluated through both an offline testing campaign, comparing the network results with two OpenCV feature matchers, and an online experimental validation.

Questa tesi propone un approccio, basato sull'utilizzo di una Rete Neurale Siamese, per identificare la fase attuale di un assemblaggio in un contesto di collaborazione tra un operatore umano e un robot, fornendo contemporaneamente indicazioni sulla correttezza dell'ultima operazione svolta. Un algoritmo di tracciamento delle mani dell'operatore determina il momento in cui acquisire l'immagine dello step appena concluso. L'immagine acquisita online viene fornita in ingresso alla rete siamese, insieme a un set di immagini di riferimento rappresentative di ogni step, svolto nel modo corretto, dell'assemblaggio corrente. Basandosi sui valori di dissimilarità restituiti dalla rete, è possibile identificare l'operazione svolta, insieme ad informazioni riguardo la sua correttezza. Le prestazioni del modello sono state valutate sia tramite dei test offline, comparando i risultati della rete con quelli di due feature matchers di OpenCV, che attraverso una validazione sperimentale online.