Reinforcement learning control for functional electrical stimulation of the upper limb

Currently available controllers for functional electrical stimulation (FES) are not yet able to restore natural movement in paralyzed upper limbs. Today, open-loop controllers represent the most common solution in clinical practice, but they barely drive accurate movements. In finding adequate control solutions, difficulties involve complexity of modelling the human arm under electrical stimulation and its significant variations of dynamics. Reinforcement learning (RL) is a novel paradigm in control of FES application which allows the formulation of adaptive regulators by experiencing, even without a complete knowledge of the system. In this work, RL is embedded in a machine learning framework for developing FES controllers for upper extremity supported by a passive exoskeleton. A state-transition model of the human arm is obtained using artificial neural networks (ANN) and used to simulate training data. An open loop controller and two different closed loop controllers are designed and tested on healthy subjects performing planar reaching tasks supported by a passive robotic system for gravitational support. The performance of the closed loop controllers are then compared by means of statistical analysis. The results showed the feasibility of RL control for a real-world FES application.

I sistemi di controllo per la stimolazione elettrica funzionale (FES) per l'arto superiore non sono ancora capaci di condurre movimenti naturali e fluidi con gli arti paralizzati. Attualmente, i controllori in anello aperto rappresentano la soluzione più diffusa in contesto clinico, ma essi difficilmente ottengono performance accurate. Nel progettare soluzioni di controllo adeguate per i sistemi FES, le principali difficoltà includono la complessità del sistema biologico rappresentato dal braccio umano e le sue significative variazioni dinamiche. Il Reinforcement Learning (RL) è una tecnica di controllo che permette la creazione di controllori adattativi attraverso il paradigma trial-and-error. In questo lavoro di tesi, l'RL è utilizzato per impostare un framework di apprendimento che permette di ottenere controllori per sistemi FES applicati all'arto superiore. La dinamica del braccio umano è modellizzata attraverso l'utilizzo delle reti neurali artificiali (ANN), al fine di simulare l'elevato numero di dati necessari all'apprendimento. Come soluzioni di controllo sono implementati un controllore in anello aperto e due diverse varianti in anello chiuso. I controllori sono poi testati su soggetti sani nell'eseguire esercizi di reaching planari supportati da un esoscheletro passivo. Le performance ottenute sono infine confrontate attraverso un'analisi statistica. I risultati hanno dimostrato l'applicabilità del controllo RL, per la prima volta, in ambiente reale.