A reinforcement learning controller of a multi-pad electrode neuroprosthesis for grasping : a feasibility study

One of the most challenging issue in post-stroke rehabilitation is the restoration of the hand grasp functions. Among all the treatment found in literature, functional electrical stimulation FES is proposed as a promising technology in this field. In the last decades multi-electrode neuroprostheses have been developed to overcome the main limits of the classical FES systems. However, these new devices still suffer from problems in the stimulation sites identification and in the control due to the high non-linear dynamics and time variability of the controlled system, the human arm. RL could represent a solution to this problem due to its capability of adapting to non-linear and time-varying systems: RL algorithms learn from data in a trial and error fashion and they do not strictly require a model of the environment with they interact. The aim of this thesis was to investigate the feasibility of Reinforcement Learning-based methods in the identification and control of a multi-electrode FES neuroprosthesis for the recovery of hand functions.

Uno degli obiettivi principali della riabilitazione post-ictus è il recupero della presa della mano. Tra tutte le strategie per il trattamento trovate in letteratura, la stimolazione elettrica funzionale (FES) è proposta come una tecnologia promettente in questo ambito. Recentemente sono state sviluppate delle neuroprotesi multi-elttrodo per superare i limiti dei classici sistemi per la FES. Tuttavia, questi nuovi strumenti soffrono di problemi legati all’identificazione dei siti di stimolazione e al controllo, a causa della dinamica non lineare e variante nel tempo del sistema controllato, il braccio umano. Il Reinforcement Learning (RL) può rappresentare una soluzione a questo problema grazie alla sua capacità di adattarsi ai sistemi non lineari e tempo varianti: gli algoritmi di RL apprendono dall’esperienza attraverso meccanismi di trial-and-error e non richiedono necessariamente un modello del sistema con cui interagiscono. L’obiettivo di questa tesi era indagare la fattibilità dell’applicazione di metodi basati sul RL ai problemi di identificazione e controllo di una neuroprotesi multi-elettrodo per la riabilitazione della presa della mano.