A model-based reinforcement learning control of functional electrical stimulation

In this work, the feasibility of a reinforcement learning controller (RL) for functional electrical stimulation (FES) of the upper limb is investigated. FES is the application of electrical stimulation to weak or paralyzed muscles to execute a function. It is the principal complementary therapy used for stroke rehabilitation. This work addressed challenges in FES control such as the non-linearity of the muscle response to FES, its time-variant property and its inter-subject and intra-subject variabilty. Reinforcement Learning (RL) control was used since its property of learning from experience allowed to account for non-linear behaviour without modelling it and it could learn a closed-loop controller to account for changes in response. The problem of modelling the human arm response to create an environment for the RL algorithm was solved by means of a grey box model (GBM) divided into two sub-parts. It used neural networks trained in multi-task learning as muscle activation models to decrease the amount of data necessary to create a good model for each subject. Multi-task learning was chosen because it learns a tasks (task = subject muscle activation) by inferring knowledge from different related task. Then, the mechanics of the arm were described by means of laws of phyiscs. The RL controller was able to perform planar multi-task extension and flexion movements both in simulation over the GBM and in tests over the subjects, reaching good levels of convergence to the target. This validated also the performance of the GBM and the feasibility of using less data to learn the models.

Questo lavoro di tesi indaga la fattibilità di un controllore per stimolazione elettrica funzionale (FES) del braccio, creato tramite apprendimento per rinforzo. FES è l'applicazione di stimolazione elettrica a muscoli indeboliti o paralizzati per eseguire una funzione. Rappresenta la terapia riabilitativa complementare più usata per recupero dall'ictus. Questa tesi affronta problemi di controllo FES quali la non-linearità della risposta muscolare alla stimolazione, la sua tempo-varianza e variabilità intra ed inter-soggetto. Il controllo tramite apprendimento, in quanto apprende tramite osservazione dell'ambiente e non tramite descrizione diretta delle sue proprietà, ha permesso di osservare il comportamento non-lineare e di addestrare un controllore ad anello chiuso, per valutare i cambiamenti nella risposta di attivazione muscolare. Il problema della proposta di un modello del braccio per creare un ambiente di apprendimento per il controllore è stato risolto utilizzando un modello grey box (GBM) formato da due parti. Due reti neurali addestrate in forma multi-task sono state usate come modelli di attivazione muscolare per diminuire il numero di dati necessari per creare un buon modello della risposta del braccio di ogni soggetto. Il multi-task ha permesso di estrapolare informazioni partendo dai dataset di tutti i soggetti. La meccanica del braccio è stata esplicitata attraverso leggi fisiche ben note. Il controllore sviluppato è stato in grado di eseguire movimenti di flessione ed estensione del braccio nel piano con più angoli-obiettivo sia in simulazione che in test sperimentali sui soggetti, con buoni valori di convergenza all'angolo-obiettivo. Questo ha validato anche le performance del modello GBM e la possibilità di usare meno dati.