Machine learning approaches for state prediction and motion simulation in a human musculoskeletal model based on inertial motion tracking data

Body position tracking using sensor fusion is a mature technology. More recently, body pose estimation using Neural Networks has been proposed. Also some attempts to use neural networks for odometry have been made. Inspired by these results, this thesis proposes multi-sensor position tracking for human body segments. This thesis develops Machine Learning approaches for tracking of the absolute position of lower body segments based on inertial measurement unit (IMU) data. Deep neural network algorithms have been developed to predict the position of the body segments for a certain number of future time frames, given data from the past time frames. The input information contains acceleration, velocity and position of the selected body segments. The data is acquired from sensors of the Xsens MVN-Link inertial motion tracking suit. The first algorithm uses a multi-layer Feed-Forward Neural Network (FFNN), and the second employs a Recurrent Neural Network (RNN), specifically a Long Short-Term Memory (LSTM). Two datasets are collected and both position estimation algorithms are evaluated. The results demonstrate that neural networks can be used efficiently for position estimation for the lower body segments. These solutions offer an efficient alternative to the commonly used methods for motion tracking which suffer from drift errors caused by the double integration of IMU data. Once it was observed that motion tracking with neural network is feasible, relations between skeletal states and muscle activation were explored. Thus, this thesis then investigates aspects related to the motor control system underlying human motion. For this purpose, a controller aiming at synthesizing motion of a human musculoskeletal system in an OpenSim-based simulated environment has been developed. The controller operates using Deep Reinforcement Learning Algorithms. The first applied algorithm is a Deep Q-Network (DQN) algorithm that requires a discretization of the continuous action space, while the second is a Proximal Policy Optimization (PPO) algorithm based on an "Actor and Critic" principle. A prototype of these controllers has been defined in this thesis. Nevertheless, the experiment conducted in the framework of this thesis did not lead to significant results. The constraints of this experiment are reported and the required future steps are identified.

Il tracciamento della posizione del corpo mediante algoritmi di “sensor fusion” è una tecnologia ormai matura. Più di recente, è stata proposta la stima della posa del corpo umano utilizzando reti neurali (Neural Networks). Inoltre, sono stati effettuati tentativi per l'utilizzo di reti neurali nell'odometria. Sulla base di questi risultati, questa tesi propone un nuovo approccio per il tracciamento della posizione di segmenti corporei con l'ausilio della multi-sensoristica. Questa tesi sviluppa metodi di Machine Learning per il tracciamento della posizione assoluta di alcuni segmenti degli arti inferiori sulla base di dati provenienti da Inertial Measurement Units (IMU). Sono stati sviluppati due algoritmi di “Deep Neural Network” per stimare la posizione assoluta di alcuni segmenti corporei a determinati intervalli di tempo futuro, sulla base di dati di intervalli di tempo passato. Le informazioni di ingresso della rete neurale includono accelerazione, velocità e posizione dei segmenti corporei selezionati. I dati vengono ottenuti tramite i sensori di una tuta di tracciamento del movimento inerziale: Xsens MVN-Link. Il primo algoritmo utilizza una multi-layer Feed Forward Neural Network (FFNN), mentre il secondo utilizza una rete neurale ricorrente (RNN), nello specifico una Long Short-Term Memory (LSTM). Vengono raccolti due set di dati ed entrambi gli algoritmi di stima della posizione vengono valutati. I risultati dimostrano che le reti neurali possono essere utilizzate in modo soddisfacente per stimare la posizione dei segmenti corporei. Queste soluzioni offrono una valida alternativa ai metodi comunemente usati per il “motion tracking” che sono suscettibili di errore di “drift” a causa della doppia integrazione dei dati degli IMU. Una volta reso possibile il "motion tracking" con le reti neurali, sono state esplorate le relazioni tra gli stati scheletrici e l'attivazione muscolare. La tesi affronta quindi anche gli aspetti relativi al controllo motorio alla base del movimento umano. A tal fine, è stato messo a punto un sistema di controllo volto a sintetizzare il movimento di un sistema muscolo-scheletrico umano in un ambiente simulato basato su OpenSim. Il sistema di controllo è stato sviluppato usando delle tecniche di Deep Reinforcement Learning. Il primo algoritmo applicato è il Deep Q-Network (DQN) che richiede una discretizzazione dello spazio d'azione continuo, mentre il secondo algoritmo applicato è un algoritmo di Proximal Policy Optimizaton (PPO), basato su un principio di "Actor and Critic". In questa tesi è stato definito un prototipo di questi sistemi di controllo. Tuttavia, gli esperimenti effettuati nel corso dell'elaborazione della tesi non hanno portato a risultati significativi. Vengono quindi riportate le limitazioni di tali esperimenti ed individuati i futuri approfondimenti necessari.