Weakly-supervised prediction of human assembly activities with the help of semantics

In recent years, to maximize the increase in production volumes, the industrial sector has shifted more and more towards the use of robots, capable of performing complex and repetitive operations, that would prove to be difficult for a human worker to perform. The introduction of automation into assembly chains has drastically changed the way in which assembly stations and operations are designed. In this context, particular interest is drawn towards collaborative assembly stations, those devised to host both a human operator and a collaborative robot, without the need for additional safety cages general, in order to be able to execute assembly procedures that would require the operating flexibility of a human operator on one side, and the precision of execution that characterizes robotic actions. Inside these stations, optimizing the collaboration between the two operators becomes fundamental in order to maximize the efficiency of the whole assembly process. Since the human operator represents, thanks to his/her adaptation and judgement capabilities, an added value inside the cell, the aim is that of optimizing the scheduling of robot actions in order to provide the human operator with an efficient assistance, whenever it is needed. The backbone of this adaptation of the scheduling of robot actions is represented by the predictive algorithms that, by observing the sequence of ongoing actions, are able to infer predictions on the possible future evolution of the assembly, in order to prepare the robot to execute a collaborative action when the probability of the latter happening in the next step is considered relevant. At the state of the art, these predictive algorithms are fundamentally based on data driven approaches, and are able to obtain optimal results when the assembly sequences are executed in repetitive patterns, however they fail when the human operator, due to its flexible nature, changes the pattern of the assembly. The aim of this thesis is that of experimenting the possibility of developing a predictive framework based on the exploit of semantic information, thus on the intrinsic meaning that each action and object inside the assembly sequence conveys, in order to be able to take corrective action in those transient periods, caused by a variation of pattern in the sequence, in which the data driven algorithms train to adapt to the new pattern and reach a new steady state. To this end, various predictive algorithms, based on the background knowledge conveyed by the concept of semantic similarity, have been implemented and tested. During the development of this thesis, due to the difficulty encountered when trying to exploit this variable semantic knowledge in an assembly context, requiring a certain degree of precision, we came to the conclusion that developing a semantics-only based framework for prediction in assembly processes is extremely difficult. However, in order to maintain the concept of semantic similarity central in this thesis, different heuristics have been implemented over a semantic only based framework, in order to obtain acceptable results. Finally a Markov chain, a data driven algorithm, is implemented together with the semantic predictor, in order to get perfect performances of the data driven algorithms during repetitive sequences, and intervene with the semantic predictor during the changes of pattern in order to reduce the average prediction error.

Negli ultimi anni, al fine di massimizzare i volumi prodotti, il settore industriale si è mosso sempre più verso l'automazione dei processi produttivi tramite l'inclusione di robot all'interno delle catene di assemblaggio. In questo contesto, ancora più recenti, e particolarmente interessanti, sono le stazioni di assemblaggio collaborative, nelle quali è prevista la coesistenza di un operatore umano e di un robot, senza la necessità di gabbie protettive, in modo tale da poter eseguire procedure di assemblaggio che richiedano da un lato la flessibilità operativa di un essere umano, dall'altro la precisione che contraddistingue le operazioni robotiche. All'interno di queste stazioni, l'ottimizzazione della collaborazione tra i due operatori si dimostra di fondamentale importanza al fine di poter massimizzare l'efficienza del processo di assemblaggio. Poichè l'operatore umano rappresenta, grazie alla sua capacità di adattamento e giudizio, un valore aggiunto all'interno del processo produttivo, questa ottimizzazione si basa sulla schedulazione ottimale delle azioni robotiche al fine di poter offrire un'assistenza efficiente quando richiesta dall'operatore umano. Colonna portante di questo adattamento dello scheduling per il robot sono gli algoritmi predittivi che, osservando la sequenza di operazioni corrente, effettuano delle predizioni sulla possibile evoluzione dell'assemblaggio, in modo tale da poter preparare il robot ad un'operazione collaborativa, quando la probabilità che quest'ultima stia per avvenire è considerata rilevante. Allo stato dell'arte, queste tecniche di predizione sono fondamentalmente data driven, ed ottengono risultati ottimi nel caso in cui la procedura di assemblaggio sia eseguita in modo ripetitivo, mentre falliscono ove quest'ultima, per via della natura umana, venga mescolata. L'obiettivo di questa tesi è quello di sperimentare la possibilità di poter sviluppare un framework di predizione basato sulla semantica, pertanto sul significato intrinseco delle operazioni e degli oggetti facenti parte della procedura di assemblaggio, in modo tale da poter intervenire in maniera correttiva in quei periodi di transitorio, dovuti ad una variazione nella sequenza di assemblaggio, durante i quali i modelli predittivi data driven necessitano di una acquisizione dati per poter raggiungere un nuovo regime predittivo. A tal fine, diversi algoritmi predittivi, basati sull'utilizzo della conoscenza fornita dal concetto di similarità semantica sono stati implementati e testati. Durante lo sviluppo della tesi è emersa l'impossibilità di costruire un framework predittivo basato solamente sul concetto di similarità semantica, a causa della difficoltà nel combinare questa conoscenza semantica, molto variabile, in un contesto di assemblaggio che richiede una certa precisione per poter essere completato. Tuttavia, volendo mantenere il concetto di similarità semantica centrale in questa tesi, diverse euristiche sono state implementate per poter raggiungere dei risultati accettabili. Infine, un algoritmo data driven basato su modelli di Markov è stato combinato con il predittore semantico sviluppato, in modo tale da poter ottenere le prestazioni di un modello data driven su sequenze ripetitive, e di poter ridurre l'errore di predizione medio durante i transitori provocati da cambi di sequenza.