EMG-driven human modelling to enhance human-robot interaction control

This master thesis is focused on the identification of a model of the human aimed at enhancing the control strategies for robotic systems interacting and cooperating with humans. Such a model regards the upper arm of the human neuromuscolar system, as it is fundamental in Human-Robot Interaction (HRI) scenarios. The work presented in this thesis has been carried out among the AVR team (Automatic, Vision and Robotics) of the ICube Laboratory at the IRCAD institute, in collaboration with the University of Strasbourg. The time spent in France goes from March to July 2018. The project under analysis is part of a bigger-picture PhD project whose aim is the development of a novel control system for collaborative robots. Therefore, the human model to be developed should fit into the control scheme of such robots, i.e. it has to be control-oriented. Characterising the behaviour of the human operator has recently become a very relevant subject with the increasing popularity of Human-Robot Interaction. In particular, it is worthwhile mentioning the field of robot-assisted surgery. In this case, the robotic system must guarantee the stability of the interaction between the human operator and the robot itself, allowing the highest transparency. In order to do so, advanced control systems are necessary: the controller should be able to consider and, if necessary, compensate the action of the human while a collaborative task is being executed. The human model to be developed is EMG-based. The electromyography (EMG) is the measurement of the electrical activity of the muscles. The EMG is chosen as it can be acquired non-invasively by means of electrodes to be placed onto the skin. Because of the complexity of the system to be modelled, the human arm is reduced to a single degree of freedom, as frequently done in the literature. Hence, the aim of the model is to estimate the force produced at the hand, due to the actuation of the elbow, from the recorded EMG signals. This has to take place in real-time, being the model control-oriented. Therefore, the structure of the model to be identified must allow to solve the trade-off between accuracy and complexity. Hence, it is investigated the feasibility of modelling the EMG--Force relationship of the arm by means of a Linear Parameter Varying (LPV) model. This is a novel approach in the field of human modelling, as the system is nonlinear. Nevertheless, Linear Time-Invariant (LTI) models are evaluated alongside the LPV approach, as the aim of this work has been to identify the simplest model structure that could give an accurate description of the EMG--Force relationship. Linear Parameter Varying models allow to represent nonlinear systems while keeping the benefits of Linear Time-Invariant models. Indeed, an LPV model can be considered as the extension of the LTI representation. The advantage is that the input/output relationship of an LPV model is linear, while the parameters of the model depend on an external measurable signal (the scheduling variable) which varies with time. Hence, it is possible to model certain classes of nonlinear systems exploiting the LPV approach. This is a major advantage in terms of control theory. The model of the human arm has been obtained by means of system identification, that is the field of modelling dynamic systems from experimental input/output data. Specifically, synchronous acquisitions of EMG and force data are used for the model of the 1-DoF arm. In particular, a set of four EMG channels is the input of the model, consisting in the acquisitions of biceps, triceps, brachioradialis and flexor carpi radialis. On the other hand, the output of the model is the force exerted in the horizontal plane. The first major result presented in this thesis regards the feasibility of describing the EMG--Force relationship with a linear model locally. In fact, the LTI model succeeded in modelling the arm during the interaction with the robot while keeping the elbow joint at a constant value, for several angular positions. In such conditions, the LTI models achieved an average FIT and Variance Accounted For (VAF) equal to 87.75% and 98.32%, respectively. This result has allowed to extend the analysis considering the LPV model obtained by means of the Local Identification Framework. Including in the model the muscles of the forearm produced a significant contribution to this result. Furthermore, the LPV model obtained by means of the Global Identification Framework is proven to be accurate for the modelling of the EMG--Force relationship. The global approach for the identification of the model requires to acquire the I/O data while varying the position of the system, that is the elbow coordinate. Compared to the local approach, the identified model can be applied without performance penalties in more realistic scenarios of Human-Robot Interaction. Indeed, the latter LPV model -- identified using constant-posture I/O datasets -- shows a proportionality between the modelling error and the speed of the scheduling signal. In terms of performance, the average FIT and VAF values obtained validating the LPV model are equal to 78.25% and 95.66%, respectively. The results presented in this work demonstrate how it is possible to model the EMG--Force relationship of the 1-DoF arm by means of an LPV approach, thus opening new possibilities in terms of control theory in the field of Human-Robot Interaction.

Il presente elaborato di tesi tratta l'identificazione di un modello umano finalizzato a migliorare le strategie applicate nel controllo di sistemi robotici che interagiscono con l'uomo. Tale modellizzazione è incentrata sull'arto superiore dominante, in quanto esso è fondamentale durante gli scenari di interazione uomo-robot. Il progetto di tesi è stato sviluppato presso il team AVR (Automatic, Vision and Robotics) del laboratorio ICube, presso l'istituto IRCAD, in collaborazione con l'Università di Strasburgo. Il periodo trascorso in Francia comprende i mesi da marzo a luglio del 2018. Il lavoro in analisi fa parte di un filone di ricerca parallelo ad un progetto di dottorato finalizzato allo sviluppo di un nuovo controllore per robot collaborativi. Di conseguenza, il modello umano da svilupparsi deve poter essere integrato all'interno dello schema di controllo del robot stesso. In altre parole, tale modello deve essere control-oriented. La caratterizzazione del comportamento dinamico dell'uomo durante l'interazione con il robot è di fondamentale importanza data la crescente popolarità di scenari di collaborazione fra questi due soggetti. In particolare, si segnala la chirurgia assistita da robot. In questo caso, è fondamentale che il sistema robotico garantisca la stabilità dell'interazione tra l'operatore umano e il robot stesso, che deve avvenire garantendo la massima trasparenza. Per poter fare ciò, è necessario disporre di sistemi di controllo avanzati che permettano di considerare e, eventualmente, compensare l'azione dell'uomo durante l'esecuzione di task collaborativi. Il modello umano sviluppato è basato sull'acquisizione dell'elettromiogramma (EMG), ovvero dell'attività elettrica muscolare. Viene scelto tale segnale in quanto acquisibile in modo non invasivo per mezzo di elettrodi superficiali. Data la complessità del sistema in analisi, il braccio umano viene ridotto ad un singolo grado di libertà, dato dall'attuazione del gomito, come viene frequentemente effettuato nella letteratura. A partire dall'EMG dei muscoli del braccio, il modello deve essere in grado di dare in uscita la forza che viene prodotta dall'operatore umano durante l'interazione con il robot. Inoltre, essendo il modello control-oriented, ciò deve poter avvenire in tempo reale. Di conseguenza, deve essere identificato un modello con una struttura tale che permetta di ottenere il miglior compromesso tra accuratezza e complessità. Si è quindi deciso di investigare l'applicabilità della classi di modelli lineari a parametri varianti, o Linear Parameter Varying (LPV), per la rappresentazione della cosiddetta EMG--Force relationship. Un approccio di questo tipo consiste in una novità nella modellizzazione di tale sistema, notoriamente non lineare. Ciononostante, si è deciso di investigare anche i modelli Lineari Tempo-Invarianti (LTI). È infatti fondamentale poter individuare la struttura del modello più semplice possibile che garantisca una buona accuratezza. I modelli di tipo LPV consentono di rappresentare sistemi non lineari pur mantenendo i benefici tipici dei sistemi LTI. Infatti, un modello LPV può essere considerato come una estensione del caso LTI. Il vantaggio pratico del caso LPV è che la relazione fra ingresso e uscita del sistema (I/O) rimane lineare, mentre sono i coefficienti della stessa a variare in funzione di una variabile esterna e misurabile (detta Scheduling Variable), che consente di modellizzare alcune classi di sistemi non lineari. Ciò comporta importanti benefici in termini di teoria del controllo. Il modello umano è stato ottenuto tramite system identification, una pratica che permette di modellizzare sistemi dinamici a partire da dati sperimentali, ovvero, nel caso del lavoro in analisi, acquisizioni sincrone di EMG e forza. In particolare, si considerano quattro canali di EMG come ingressi del modello, corrispondenti a bicipite, tricipite, brachioradialis e flexor carpi radialis. L'uscita del modello è la forza sviluppata dal braccio nel piano orizzontale. \paragraph{}Il primo importante risultato ottenuto riguarda la fattibilità di poter utilizzare una relazione lineare (modello LTI) per rappresentare il sistema EMG--Forza localmente, ovvero con l'angolo di gomito costante durante l'interazione con il robot. Localmente, i modelli LTI hanno ottenuto valori medi di FIT e Variance Accounted For (VAF) pari a 87.75% e 98.32%, rispettivamente. Tale risultato ha permesso di estendere l'analisi considerando un modello LPV identificato mediante l'interpolazione di un set di modelli LTI locali, ovvero tramite identificazione locale (Local Identification Framework). Ciò è stato possibile anche grazie al contributo dato dai muscoli dell'avambraccio, inseriti nel modello della relazione EMG--Forza. In secondo luogo, è stata valutata con successo l'accuratezza dei modelli LPV identificati globalmente (Global Identification Framework), ovvero durante l'attuazione di una traiettoria da parte dell'angolo di gomito in concomitanza con l'interazione con il robot. Infatti, l'approccio globale per l'identificazione di modelli di tipo LPV richiede che durante l'acquisizione dati sia variata la coordinata di posizione del sistema, ovvero l'angolo di gomito in questo caso. Rispetto al caso locale, il modello LPV può essere validato (e quindi applicato) in situazioni più realistiche, in cui la scheduling variable (ovvero l'angolo di gomito) non è costante, ma può variare. Infatti, un modello LPV identificato localmente mostra una proporzionalità inversa tra accuratezza e velocità del segnale di scheduling. In termini di performance, i valori medi di FIT e VAF ottenuti durante la validazione del modello LPV sono pari a 78.25% e 95.66%, rispettivamente. I risultati proposti nell'elaborato in analisi mostrano come sia possibile utilizzare un modello lineare parametro-variante per descrivere un sistema tipicamente non-lineare, qual è la relazione EMG--Forza del braccio umano. Ciò apre nuovi scenari e possibilità in termini di teoria del controllo nell'ambito dell'interazione uomo-robot.