IMU-based upper limb kinematics: from exosuit control to motor primitives classification

In the presence of a chronic upper limb (UL) impairment, the quality of life of the person affected can be severely compromised. For this reason, motor rehabilitation and assistance with activities of daily living (ADLs) are fundamental. In the context of home assistance, exoskeletons represent a valid tool to assist UL movements in the execution of ADLs thanks to cooperation between sensors and actuators. This thesis is part of a project aimed at the development of a cable-driven exosuit for upper-limb assistance. Three inertial measurement units (IMUs) are integrated into the device to allow real-time gravity compensation. The vision behind this work is to exploit these sensors to evaluate daily the user's UL functionality progress, provide feedback, and promote user engagement. To this aim, two objectives were defined: i) implementing the online computation of anatomical angles in accordance with the ISB (International Society of Biomechanics) standard, ii) defining, training, and testing a neural network for motor primitives classification. To achieve the first objective, a 3-step (IMU reset, N-pose and T-pose) calibration procedure was proposed. Then, the formalization of the computation method for 5 ISB angles including plane of elevation (POE), angle of elevation (AOE), humeral rotation (HR), flexion/extension (FE), and pronation/supination (PS), was completed. The method was validated on a robotic arm and on 5 healthy participants by means of comparison between the IMUs and the robot's encoders and an optoelectronic system respectively. For the second objective, 10 healthy participants were asked to execute a set of exercises in two different settings: standard (SD) and ADL. During the experiments, data were acquired by means of 5 IMUs and a video camera to provide ground truth for the labeling process. Data were labeled by means of video inspection according to the definition of 5 motor primitives: 'idle', 'stabilize', 'reach, 'transport', and 'reposition'. A Long-Short Term Memory (LSTM) neural network was then trained and tested with different combinations of datasets: SD for both training and test and SD+ADL for both training and test). Results of the validation on ISB angles showed a lower error during the test on the robotic arm (mean RMSE between 2.75°-4.96°) with respect to that on participants (mean RMSE between 9.45°-29.65°). Nevertheless, the correlation coefficient was greater than 0.91 also during the validation with healthy subjects. For what concerns the classification performance of the LSTM model on the 2 datasets, the first achieved an f1-score of 0.75, while the second, which is more relevant for the final application, obtained an f1-score of 0.73. The algorithm performed better in the estimation of the 'idle' and 'transport' primitives, which were the most present in the datasets. On the contrary, 'reach' and 'reposition' primitives were often misclassified as 'transport'. This work represents a starting point for UL assessment in daily living scenarios.

In presenza di un problema cronico agli arti superiori, la qualità della vita della persona colpita può essere compromessa in modo significativo. Per questa ragione, la riabilitazione motoria e l’assistenza nelle attività quotidiane (ADL) sono fondamentali. Nel contesto dell’assistenza domiciliare, gli esoscheletri rappresentano uno strumento valido per assistere i movimenti degli arti nell’esecuzione delle ADL grazie alla cooperazione tra sensori e attuatori. Questa tesi fa parte di un progetto volto allo sviluppo di un esoscheletro per l’assistenza degli arti superiori. Tre sensori inerziali (IMU) sono integrati nel dispositivo per consentire la compensazione in tempo reale della gravità. La visione alla base di questo lavoro è quella di sfruttare questi sensori per val- utare quotidianamente i progressi nella funzionalità degli arti superiori dell’utente, fornire feedback e favorire il coinvolgimento dell’utente. A tal fine, sono stati definiti due obiettivi: i) implementare il calcolo online degli angoli anatomici in conformità allo standard dell’ISB (International Society of Biomechanics), ii) definire, addestrare e testare una rete neurale per la classificazione delle primitive motorie. Per raggiungere il primo obiettivo, è stata proposta una procedura di calibrazione in tre fasi (reset IMU, N-pose e T-pose). Successivamente, è stata completata la formalizzazione del metodo di calcolo per 5 angoli ISB, compresi il piano di elevazione (POE), l’angolo di elevazione (AOE), la rotazione dell’omero (HR), la flessione/estensione (FE) e la pronazione/supinazione (PS). Inoltre, è stato sviluppato un metodo di correzione per HR e PS al fine di compensare il movimento relativo dei sensori del braccio superiore rispetto all’osso dovuto alla presenza di tessuti molli. Il metodo è stato convalidato su un braccio robotico e su 5 partecipanti sani mediante il confronto tra le IMU e gli encoder del robot e un sistema optoelettronico, rispettivamente. Per il secondo obiettivo, è stato chiesto a 10 partecipanti sani di eseguire un insieme di esercizi in due ambienti diversi: standard (SD) e ADL. Durante gli esperimenti, i dati sono stati acquisiti mediante 5 IMU e una videocamera. I dati sono stati etichettati mediante ispezione video in base alla definizione di 5 primitive motorie: "idle", "stabilize", "reach", "trasport" e "reposition". Successivamente, è stata addestrata e testata una rete neurale LSTM (Long-Short Term Memory) con diverse combinazioni di dataset: SD per addestramento e test, e SD+ADL per addestramento e test. I risultati della convalida sugli angoli ISB hanno mostrato un errore inferiore durante il test sul braccio robotico (RMSE medio tra 2,75°-4,96°) rispetto a quello sui partecipanti (RMSE medio tra 9,45°-29,65°). Tuttavia, il coefficiente di correlazione è stato superiore a 0,91 anche durante la convalida con soggetti sani. Per quanto riguarda le prestazioni di classificazione del modello LSTM sui due dataset, il primo ha ottenuto un f1-score di 0,75, mentre il secondo, che è più rilevante per l’applicazione finale, ha ottenuto uno score f1 di 0,73. L’algoritmo ha ottenuto migliori risultati nell’accuratezza delle primitive "idle" e "tranport", che erano le più presenti nei dataset. Al contrario, le primitive "reach" e "reposition" sono state spesso classificate erroneamente come "tranport". Questo lavoro rappresenta un punto di partenza per la valutazione degli arti superiori in scenari di vita quotidiana.