Allowing a real collaboration between humans and robots

Collaborative Robotics is emerging as one of the most active lines of research in automation. This term indicates a group of methodologies and techniques that allow robots to work side by side with humans. The human should execute highly cognitive tasks, like e.g. assembly operations that could be too difficult to fully automatize, while robots have to both undertake autonomous operations and assist the humans in many ways. The combination of the human flexibility and the robots efficiency can significantly improve the production process. This level of interaction requires at least the sharing of a common space. This topic has attracted the interest of many researchers in the recent years and many controlling algorithms have been developed to allow a safe coexistence of humans and robots. In this context, tracking the human motion is of paramount importance. Then, a safe motion controller can optimize the trajectory of the robots with the aim of dodging humans. We can state that the safe interaction of humans and robots, while performing disjoint tasks, is something achieved. For this reason, the aim of this thesis was to study more in depth the collaboration between human and robot. In particular, this was done by focusing on industrial contexts, where typical applications are collaborative assemblies (or co-assemblies). In such scenarios, humans and robots have to execute alternating tasks, with the aim of realizing a set of possible finite products. The robots have to adapt and synchronize with the humans, since the collaboration was conceived as human-centric: it’s the human that regulates the interaction. To this purpose, robots have to interpret the human intentions as well as to predict them in order to take the best actions for providing a reliable assistance. Such an interpretation is possible only through increased cognitive capabilities. For this, sensors can be exploited to produce a large amount of data describing the workspace surrounding a robot, which are at a second stage interpreted by machine learning techniques. Within the above scenario, this thesis proposes the three following main contributions: - introduce algorithms and methodologies for inferring the current action that a human operator is undertaking, from the simplest ones, as for instance those for reaching tools or objects, to the more complex ones, as performing a screwing. Two inferring algorithms will be proposed. The first one analyzes the motion of the hands, as well as the orientation of the gaze, for inferring the next reaching target of an operator adopting a Gaussian Mixture model. The second algorithm takes into account the motion of the entire body and is based on Markov Random Fields. - predict the actions performed by human operators in the near-far future. The proposed solution is made of two parts. One models the sequence of operations, while the other one the time durations. The first kind of modelling can be done by making use of two alternative approaches, one based upon Higher Order Markov model and the other one based on the construction of a Suffix Tree. - optimally schedule the operations assigned to robots, with the aim of assisting the human and minimizing the inactivity times. This must be done by properly taking into account the time variability of human actions. All the developed scheduling approaches consider a particular class of Timed Petri Nets, specifically derived for describing collaborative tasks. The optimal commands to be sent to robots are extracted from a reachability tree representing many alternative evolutions of the system. Although collaborative robots are intrinsically safe, an additional minor objective of the thesis was to investigate how to optimally control their motion in collaborative cells. This problem was solved as similarly done for the aforementioned scheduling, i.e. by taking into account a prediction of the human motion. All the proposed methodologies were tested in realistic robotic co-assemblies.

La Robotica Collaborativa si sta affermando come una delle linee di ricerca maggiormente studiate nell’ambito dell’automazione. Il termina indica quel gruppo di tecniche e metodologie che permettono ai robot di lavorare fianco a fianco degli uomini, ai quali dovrebbero essere destinati i compiti altamente cognitivi, per cui una completa automatizzazione risulterebbe difficile o quasi del tutto impossibile. Invece, i robot dovrebbero allo stesso tempo compiere delle azioni autonome e assistere gli uomini in vari modi. La combinazione data dalla flessibilità umana e dall’efficienza dei robot consente di migliorare notevolmente i processi produttivi. Un tale livello di interazione richiede quantomeno la coesistenza sicura in uno spazio condiviso. Questa tematica ha attratto gli sforzi di molti ricercatori nel recente passato e molte strategie di controllo per i robot sono state sviluppate con il fine di garantire una sicura coesistenza fra uomini e robot. In un tale scenario, riuscire a monitorare nel tempo i movimenti degli operatori umani diventa di primaria importanza. Infatti, analizzando il moto degli umani presenti nella cella robotica, i controllori possono ottimizzare la traiettoria dei manipolatori robotici allo scopo di evitare pericolose collisioni. Si può affermare con buona sicurezza che l’ottenimento di un’interazione sicura fra operatori e robot, quando questi svolgono operazioni autonome, è un risultato pienamente raggiunto. Per questa ragione, lo scopo di questa tesi è stato quello di studiare con maggiore attenzione la tematica legata alla collaborazione fra uomini e robot. Nello specifico, ci si è concentrati su scenari industriali, dove applicazioni tipiche sono gli assemblaggi collaborativi (detti anche co-assemblaggi). In queste situazioni, operatori e robot devono compiere delle azioni che si alternano fra loro, con l’obiettivo di realizzare un certo numero di possibili prodotti finiti. I manipolatori devono adattarsi e sincronizzarsi con gli operatori umani, dato che la collaborazione è stata concepita in questa tesi come umano-centrica: deve essere l’operatore a regolare l’interazione con il robot. Per ottenere una tale sinergia, i robot devono poter essere in grado di interpretare le reali intenzioni correnti degli operatori e allo stesso tempo prevedere quelle future, allo scopo di poter decidere l’azione ottimale da svolgere nel presente per assistere nella maniera migliore gli umani. L’interpretazione del comportamento umano è possibile solo attraverso migliorate capacità cognitive. A tal proposito i sensori di cui può essere dotato un manipolatore sono oggi in grado di produrre una grande quantità di dati, che deve essere in seconda battuta interpretata attraverso tecniche di machine learning. Nel contesto descritto, questa tesi presenta i seguenti contributi: - proporre algoritmi e tecniche per comprendere l’azione svolta da un operatore umano, basandosi sulla sola analisi del suo movimento nel tempo, da quelle più semplici, come ad esempio afferrare degli oggetti in dei contenitori, a quelle più complesse, come eseguire l’avvitamento di alcuni componenti. Due algoritmi distinti verrano proposti per affrontare questo problema. Il primo analizza il moto delle mani e l’orientamento del volto, per stimare la destinazione dei movimenti di un operatore. Tale stima viene svolta attraverso l’uso di un modello basato su misture di Gaussiane. Il secondo algoritmo proposto considera il movimento di tutto il corpo ed è basato sull’analisi di un Markov random field. - predire le azioni che verranno svolte dall’operatore nel breve-lungo periodo. La soluzione proposta è costituita da due parti principali. La prima modella la sequenza logica delle operazioni, mentre la seconda descrive le loro possibili durate temporali. La modellazione logica delle sequenze può essere svolta tramite due approcci alternativi, uno basato su un modello Markoviano di ordine superiore e l’altro basato sulla costruzione e sul mantenimento di un albero di suffissi. - schedulare nella maniera più ottimale le operazioni assegnate ai robot collaboranti, con lo scopo di assistere l’umano e minimizzare i tempi di inattivatà. Questa pianificazione di attività dovrà essere svolta tenendo in conto la variabilità associata alla durata delle operazioni svolte dagli operatori umani. Le tecniche di schedulazione sviluppate sono tutte basate sull’utilizzo di una particolare classe di reti di Petri temporizzate, appositamente introdotta per descrivere scenari collaborativi. Sebbene i robot collaborativi siano intrinsecamente sicuri, un obiettivo secondario della tesi ha riguardato lo studio di tecniche innovative di controllo del moto in ambiti di collaborazione. Le tecniche proposte risultano essere migliorative in quanto, similmente a quelle di scheduling, prendono in considerazione una predizione del comportamento futuro degli umani (in questo caso in termini di movimenti futuri). Tutte le tecniche sviluppate sono state sperimentate in situazioni realistiche di coassemblaggio.