Imitation learning using Gaussian mixture models and dynamic movement primitives for rehabilitation exoskeletons

The current master thesis work discusses the employment of statistical machine learning algorithms to improve the trajectory generation systems of the upper-limb exoskeleton AGREE. AGREE is a modern rehabilitation device, part of a project run by a team of high-tech healthcare companies and three departments of the Politecnico di Milano. The original system generates high-order polynomial trajectories often unable to reproduce human-like movements as would actually be performed by physiotherapists. For the aforementioned reasons, Learning from Demonstrations (LfD) techniques, including Gaussian mixture models and regression (GMM-GMR) together with Dynamic motion primitives (DMPs), have been employed to create accurate and human-like trajectories. This investigation will demonstrate that is possible to extract smooth and accurate human skills from trajectories directly demonstrated by physiotherapists. In particular, a detailed analysis comparing performances and advantages of deterministic (DMPs) and probabilistic (GMM-GMR) methods in extit{imitation learning} is provided. Finally, a state-of-art hybrid approach, merging the advantages of Dynamic motion primitives with the probabilistic information encoded in GMM-GMR is presented. Additionally, the presented methods have been validated using several databases comprehending trajectories performed by professional physiotherapists working in hospitals around Milan and ad-hoc trajectories created at the NEARLab laboratory at Politecnico di Milano. Results show that the implemented methods outperform the current high-order polynomial trajectory both in accuracy and human likeness. Contrary to most of the papers regarding trajectory generation, this investigation focuses also on the assessment of the degree of smoothness of the accomplished results, by evaluating metrics such as the spectral arc length (SPARC) and the Logarithmic Dimensionless Jerk (LDAJ).

Questo lavoro di ricerca mostra come l'impiego di algoritmi di statistical machine learning possa migliorare il sistema di generazione di traiettorie di AGREE. AGREE è un esoscheletro per la riabilitazione dell'arto superiore al centro di un progetto portato avanti dal Politecnico di Milano in collaborazione con aziende del settore sanitario. L'obbiettivo è quello di sostituire il sistema attuale di generazione di traiettorie polinomiali del quinto ordine, che riproducendo movimenti innaturali, potrebbero potenzialmente arrecare danno ad un paziente ai primi stadi di guarigione. Per tali ragioni, un approccio basato su Learning from Demonstrations, che comprende Gaussian mixture models and regression (GMM-GMR) e Dynamic motion primitives (DMP), è stato impiegato per creare traiettorie identiche a quelle che farebbe un fisioterapista. In particolare, un'analisi dettagliata è stata condotta nel confrontrare le prestazioni e i benefici di implementare algoritmi deterministici (DMP) o probabilistici (GMM-GMR) nell'ambito dell' imitation learning. Inoltre, un approccio ibrido capace di unire la facilità di rappresentazion delle traiettorie tipica delle DMP con le informazioni probabilistiche codificate dal GMM-GMR è stato proposto. I database utilizzati per la validazione comprendono traiettorie generate da personale medico che opera negli ospedali di Milano e di traiettorie create appositamente presso il laboratorio NEARLab del Politecnico di Milano. I risultati ottenuti mostrano come i due algoritmi migliorino nettamente le prestazioni delle traiettorie polinomiali sia in termini di precisione che di antropomorfismo. A differenza della maggior parte degli articoli scientifici riguardanti la generazione di traiettorie, questa tesi si concentra anche sulla valutazione del grado di fluidità dei movimenti (smoothness), mediante l'impiego di metriche come SPARC e LDAJ.