Development and testing of a sensorized insole for a sensory neuroprosthesis

INTRODUCTION Lower-limb loss is a disabling condition that considerably affects the quality of life [1][2]. Lower-limb amputees typically rely on haptic feedback from the interaction between the stump and the socket to control their gait. Current leg prostheses fail to restore any sensory feedback, cutting off the central nervous system from the correct sensory-motor integration. Consequently, lower-limb amputees are more prone to suffer from neuromuscular disorders such as asymmetric walking and balance, which often lead to joint degeneration, higher metabolic consumption and back pain [1][3]. Moreover, lack of a natural sensory feedback induces a lower acceptance of the artificial limb because prostheses are felt as a foreign body, and therefore patients tend to abandon it. Ideal leg prostheses should both provide a reliable support during gait and deliver a “natural” sensory feedback through afferent pathways in real-time. In this way, users would benefit from an advanced prosthesis that could improve their confidence during walking, helping them in correcting abnormal gait kinematics and reducing amputee’s common problem of phantom limb pain (PLP). This painful sensation perceived in the missing portion of the limb affect up to 70% of amputees. Neural stimulation could alleviate PLP hypothesizing that the introduction of the natural sensory feedback would counteract the aberrant peripheral drive and induce the beneficial neuroplasticity changes in the brain, therefore eliminating the PLP at its origin. Starting from these needs, the goal of the present projects is to develop an important part of a closed loop neuroprosthetic device able to restore a natural sensory feedback in lower-limb amputees, induced by biomimetic electrical stimulation of the residual sciatic nerve. XIV The work has been framed into a huge research project (“Feel-again”) involving i) University of Belgrade, Serbia, ii) SensArs Neuroprosthetics, Lausanne, Switzerland, iii) EPFL, Switzerland, iv) IMTEK, Albert-Ludwigs Univerzitet, Freiburg, Germany, v) Univeristy LIRMM & Axonic, Montpelijer, France vi) OSSSUR, Rejkjavik, Island and for the clinic sides, vi) Department of Orthopaedic Surgery and Traumatology, Department of Reconstructive surgery and microsurgery, Clinical Centre of Serbia, Belgrade, vii) the Specialized hospital for rehabilitation and prosthetics, Belgrade. In 2014, this team has first demonstrated the use of closed loop sensory neuroprosthesis for the upper limb amputees [4]. Our specific goal has been the design, realization and the first experimental pre-validation of a part of a wearable closed loop neuroprosthesis for lower limb amputees. The system is based on the following modules: a pressure-sensitive insole provided with seven piezoresistive force sensors for the measurement of plantar pressure distribution, a computing unit for a data recording, processing and transmission and an embedded controller, which drives electrical stimulation of a nerve in real-time. MATERIALS AND METHODS The overall system of the closed loop neuroprosthesis based on foot pressure feedback encompasses multiple blocks: an insole instrumented with piezoresistive force sensors placed in the main significant regions of the plantar; an acquisition, elaboration and transmission circuit used to read the sensors’ data and communicate wirelessly to a portable embedded controller which uses those data to drive the stimulation fed back to the patient. XV Starting from an analysis of the existing solutions, and of an initial prototype available in the lab TNE EPFL, a detailed definition of the specifics of the whole parts of the system were defined. In Figure 9 a summary of the main specifications of the insole system is reported. Figure 8: Block diagram of the feedback restoration steps from the insole to patient’s nerves. XVI Figure 9: Block diagram of the Target System and its requirements. EXPERIMENTAL TESTING PROTOCOLS The testing of the system has been designed in two steps: a first pre-validation of the effectiveness and usability of the insoles with one healthy users wearing the system for more than 40 hours over 15 days. The second phase aimed at testing the whole integrated sensorized neuroprosthesis in one amputee volunteer. The study was approved by Serbian Agency for Medical Devices and Drugs, Clinical Center of Serbia and Special Hospital for Rehabilitation and Prosthetics, Belgrade. The subject involved in the clinical tests was implanted in the sciatic nerve with intraneural electrodes. The patient Dj.R. (male, 100 Kg, 1.90 m, mobility level K4) presents a transfemoral amputation of the left leg resulting from a traumatic accident. XVII Dj.R. reported high level of PLP and residual limb pain. Four transverse intrafascicular multichannel electrodes were implanted at different levels of the residual part of the sciatic nerve during a 6 hours surgery. The patient was also provided with a variable dumping knee able to record and transmit angle, weight and step counting data wirelessly. The assessment of stimulation effects during walking was achieved during several experimental setups: i) walking on flat surface, ii) climbing up and down stairs, iii) walking on uneven surfaces like sand, gravel and lawn, and iv) walking on a surface endowed with obstacles of various size. Tests took place in different stimulation conditions: without stimulation, with stimulation driven by insole’s output, with stimulation driven by the bending of the prosthetic knee (integrated in the system in later stages), stimulation combining the last two conditions mentioned. For each protocol a statistical analysis was carried out. RESULTS AND CONCLUSIONS Insole Choice Qualitative tests were conducted in order to choose between two proposed prototypes leading to the adoption of the one consisting in three fabric layers (global thickness 2mm) endowed with 7 Tekscan force sensors. XVIII Figure 10: Disassembled adopted Solution Prevalidation Tests Using this insole, it is possible to record the pressure distribution under the foot during a normal walk, as represented in Figure 11 XIX Figure 11: Analysis of the recognizable stance sub- phases of a single step. where it is possible to recognise different sub-phases of the stance. In particular, we can spot an initial heel pulse from both the rearfoot sensors (6,7) followed by a progressive acceptance of the weight from the lateral arch of the foot, represented by the slow rise of sensors’ 4 and 5. Lastly, we can locate at the end of the stance phase the toe-off peak in correspondence of sensors 1 and 2. In the same way, pressure data were recorded during other functional task, for example using the stairs. Figure 12: Different pattern recorded going down (TOP) and climbing up (BOTTOM) the stairs. XX From the graphs, it is possible to clearly distinguish between the two tasks: climbing down the stairs is possible to locate just the impulse corresponding to the landing on each step, while climbing up it is possible to appreciate the initial loading phase and the successive push (Sensors 1 and 2) End-user tests The patient started the ambulatory tests 14 days after the surgery and performed 30 sessions resulting in an overall use of the system of 60 hours. When needed, before using the close-loop neuroprosthesis, a mapping was made in order to associate to each channel of stimulation the information derived by the sensors either from the sole or from the prosthetic knee more related to the elicited sensation. During end-user tests both the pressure reading and the injected charge were recorded by the system. In Figure 13 is represented the ascent and the descent of four stair steps and the relative stimulation (C) driven from the flex-extension knee angle (B) and the insole pressure readings (A) Figure 13: Pressure and angle data and relative stimulation during stairs experiments. XXI It is possible to appreciate how the stimulation follows the driving signal without appreciable delays. A more detailed assessment of the whole system delay is carried out in chapter 5.5.2. In Figure 14 are reported different indexes measured with (P, T, P+T) and without (NF) sensory feedback restoration. Figure 14: Output of analysis of clockwise stair tests during Non-Feedback (“NF), Proprioception Feedback (“P”), Touch Feedback (“T”), Proprioception + Touch Feedback (“P+T”) conditions. From the data emerge how with a combination of stimulation driven both from pressure and angle readings, the subject was able to achieve better result, as better explained in chapter 5.2 DISCUSSION AND FURTHER PERSPECTIVES XXII Results gather from healthy-subject tests were used to prove the wearability of the system without any encumbrance as well as the rationality of the sensors placement and its outputs, thus the developed insole sensing system was considered compliant with the proposed requirements and ready to be used in end-user tests. Experimental pre-validation tests demonstrate also that the device provides different and coherent outputs when used during different everyday activities laying the groundwork for possible future developments. From the hardware point of view, further developments could be addressed to the miniaturization of the acquisition and transmission circuit, and a consequent renewal of the powering system. After an initial confirmation that the different shape and stiffness of a prosthetic foot don’t affect the data content recorded from the sensing device, it was set to test the whole system in an end-user trial. Significant differences between performances arose when a sensory feedback was provided to the patient, resulting in a key instrument for a future “natural” replacement of lower limb loss. The most critical aspects observed during the trial were about the positioning repeatability of the insole in the shoe and the relatively limited (4 hours) battery life of the device. Other limitations encountered regards habits to the stimuli and sensor-sensation map stability. Indeed, the user had reported reduced sensation as long as the trial was longer than few minutes, and the map between the sensation and the correspondent sensor had to be retuned several times during the three-months trial period. Form the technological point of view the solution proposed has been confirmed also for the following patients confirming that the technology is responding to the required specifications.

INTRODUZIONE L’amputazione di arto inferiore è una condizione disabilitante che incide considerevolmente sulla qualità della vita [1] [2]. Gli amputati di arto inferiore si affidano tipicamente a feedback aptici derivanti dall’interazione tra moncone e socket per monitorare il cammino. Le protesi di arto inferiore attualmente in commercio non prevedono il ripristino di alcun feedback sensoriale, privando il sistema nervoso centrale della corretta integrazione sensomotoria. Di conseguenza, soggetti che presentano amputazione di arto inferiore sono più inclini a sviluppare disordini neuromuscolari, come equilibrio e cammino caratterizzati da forte asimmetria, che spesso portano a degenerazione delle articolazioni, aumento del consumo metabolico e dolori alla schiena [1] [3]. In aggiunta, la mancanza di un feedback sensoriale si traduce in un minor grado di accettazione dell’arto artificiale, in quanto le protesi sono percepite come corpo estraneo, e gli utenti tendono ad abbandonarle. Una protesi di arto inferiore ideale dovrebbe provvede a fornire sia un supporto affidabile durante il cammino, sia un feedback sensoriale “naturale” in real-time attraverso vie afferenti. In questo modo, soggetti amputati beneficerebbero di protesi complete che migliorerebbero la confidenza durante il cammino, aiutandoli a correggere cinematiche locomotorie errate e a ridurre il diffuso problema della sindrome dell’arto fantasma (SAF). Questa sensazione dolorosa percepita nella parte mancante del moncone affligge fino al 70% degli amputati. La stimolazione neurale potrebbe alleviare questo tipo di dolore, ipotizzando che il ripristino di un feedback sensoriale contrasti fenomeni di degenerazione dell’informazione periferica e induca cambiamenti benefici sfruttando la neuroplasticità cerebrale, eliminando così l’origine della sindrome dell’arto fantasma. IV Considerando queste necessità, lo scopo di questo progetto è quello di sviluppare una parte fondamentale di un dispositivo neuroprostetico in closed-loop in grado di ripristinare un feedback sensoriale naturale in amputati di arto inferiore sfruttando stimolazione elettrica biomimetica del nervo sciatico residuo. Questo lavoro si inserisce in un vasto progetto di ricerca (“Feel-again”) che coinvolge i) University of Belgrade, Serbia, ii) SensArs Neuroprosthetics, Lausanne, Svizzera, iii) EPFL, Svizzera, iv) IMTEK, Albert-Ludwigs Univerzitet, Friburgo, Germania, v) Univeristy LIRMM & Axonic, Montpelijer, Francia vi) OSSSUR, Rejkjavik, Islanda e per quanto riguarda gli aspetti clinici, vi) Department of Orthopedic Surgery and Traumatology, Department of Reconstructive surgery and microsurgery, Clinical Center of Serbia, Belgrado, vii) Specialized hospital for rehabilitation and prosthetics, Belgrado. Nel 2014, questo team ha, per primo, dimostrato l’utilizzabilità di neuroprotesi sensoriali in closed-loop su amputati di arto superiore [4]. Nello specifico, il nostro scopo è stato quello di progettare, realizzare e prevalidare sperimentalmente parte di una neuroprotesi portatile a closed-loop per amputati di arto inferiore. Il sistema è composto dai seguenti moduli: una soletta dotata di sette sensori di forza piezoresistivi per la misura della distribuzione delle pressioni plantari, un’unità di acquisizione, elaborazione e trasmissione dati e un controllore integrato per il comando in real-time di un neurostimolatore. MATERIALI E METODI Nel suo complesso, il sistema relativo alla neuroprotesi guidata dal rilevamento della pressione plantare può essere suddiviso in diversi blocchi: una soletta dotata di sensori di pressione piezoresistivi disposti nelle aree plantari più significative; un circuito di acquisizione, elaborazione e trasmissione wireless dei dati pressori ricavati dalla soletta e un controllore integrato portabile che utilizza queste informazioni per modulare la stimolazione somministrata al paziente Figure 1 V Figure 1: Diagramma a blocchi degli step di ripristino del feedback dalla soletta ai nervi del paziente. Partendo da uno studio sulle soluzioni già esistenti e dall’analisi di un prototipo (proof of concept) fornito dal laboratorio TNE (EPFL), sono state definite le caratteristiche richieste alle varie parti del sistema. In Figure 2 è riportato uno schema riassuntivo delle prestazioni richieste ai vari blocchi del sistema. VI Figure 2: Diagramma a blocchi del sistema target e dei requisiti. PROTOCOLLI SPERIMENTALI I test sul sistema sono stati suddivisi in due fasi: - una prima validazione dell’efficacia e dell’utilizzabilità della soletta attraverso l’utilizzo del dispositivo da parte di un soggetto sano per 40 ore distribuite in varie sessioni nell’arco di 15 giorni. - Una seconda fase durante la quale il sistema neuroprostetico, nel suo complesso, è stato testato su di un soggetto amputato di arto inferiore. Lo studio è stato approvato dal Serbian Agency for Medical Devices and Drugs, Clinical Center of Serbia e Special Hospital for Rehabilitation and Prosthetics, Belgrado. VII Al soggetto coinvolto nei test clinici sono stati impiantati 4 elettrodi intraneurali del nervo sciatico. Il paziente Dj.R. (uomo, 100Kg, 1.90m, livello di mobilità K4) presenta amputazione transfemorale della gamba sinistra dovuta ad evento traumatico e riporta alti livelli di dolore all’arto fantasma e a livello del moncone. Quattro Transverse Intrafascicular Multichannel Electrodes (TIME) sono stati impiantati a diversi livelli della porzione rimanente di nervo sciatico durante un intervento chirurgico durato 6 ore. Al paziente è stato inoltre fornito un ginocchio prostetico (Rheo Knee, Ossur) a smorzamento variabile in grado di registrare e trasmettere wireless dati riguardanti l’angolo di flesso-estensione, il peso e il numero di passi effettuati. Gli effetti della stimolazione durante il cammino sono stati valutati tramite diversi setup sperimentali: i) cammino su superficie piana, ii) salita e discesa di scale, iii) cammino su superfici non omogenee come sabbia, ghiaia, erba iv) cammino su superficie dotata di ostacoli di diverse dimensioni. I test sono stati effettuati in diverse condizioni di stimolazione: senza stimolazione, con stimolazione proporzionale all’output della soletta, con stimolazione proporzionale all’angolo di flesso-estensione del ginocchio prostetico (integrato nel sistema in corso d’opera) e con stimolazione proporzionale ad una combinazione delle ultime due modalità. Sui dati raccolti durante ognuno dei protocolli sono state effettuate analisi statistiche. RISULTATI E CONCLUSIONI Scelta della soletta L’effettiva possibilità di utilizzo e l’efficacia del dispositivo sono state dimostrate con successo attraverso pre-validazione su di un soggetto sano. Testi qualitativi sono stati condotti al fine di scegliere fra due prototipi proposti, portando all’adozione della soluzione composta da tre strati di stoffa (spessore complessivo 2 mm) sensorizzati con 7 sensori di forza Tekscan. VIII Figure 3: Soluzione adottata disassemblata. Test di pre-validazione Utilizzando la soletta sensorizzata è risultato possibile registrar la distribuzione di pressione sotto la zona plantare del piede durante il cammino, come rappresentato inFigure 4, dove è possibile riconoscere diverse sottofasi della fase di stance. Figure 4: Analisi delle sottofasi riconoscibili da un singolo passo durante la fase di stance. IX In particolare, possiamo osservare, in corrispondenza dell’inizio della fase di stance, il segnale proveniente da entrambi I sensori posizionati sotto il tallone [2][5] seguito da una progressive accettazione del peso dall’arco laterale del piede, rappresentata dalla lenta salita dei sensori 4 e 5. Possiamo poi individuare, in corrispondenza della fase finale di stance, i picchi derivanti dalla fase di stacco delle dita (toe-off) rappresentati dall’andamento dei sensori 1 e 2. Allo stesso modo, dati pressori sono stati raccolti durante lo svolgimento di altri task funzionale, come la salita e la discesa di scale. Figure 5: Diversi pattern registrati durante la salita (in alto) e la discesa (in basso) di scale. Prendendo ad esempio la Figure 5, è chiaramente possibile distinguere fra le due attività: scendendo le scale, l’unico picco pressorio registrato è quello rappresentante l’impatto della parte anteriore del piede con il gradino, mentre salendo le scale è possibile apprezzare un’iniziale fase di carico ed una successiva fase di spinta (sensori 1 e 2). End-user tests Il paziente ha iniziato i test 14 giorni dopo l’impianto e ha svolto 30 sessioni deambulatorie, per un tempo totale di utilizzo del sistema di 60 ore prima dell’espianto. A seconda della necessità, prima dell’utilizzo della neuroprotesi, viene effettuato un mapping delle sensazioni provocate dai vari elettrodi. In questo modo è possibile associare ad ogni canale di stimolazione l’informazione derivante dal sensore che più rappresenta la sensazione elicitata. X Durante I test su end-user, sia le pressioni plantari, che gli angoli del ginocchio, che la quantità di carica erogata dallo stimolatore sono state registrate dal sistema sensorizzato. In Figure 6 sono rappresentate la salita e la discesa di 4 gradini e la relativa stimolazione (C) modulate dalla fesso-estensione del ginocchio (B) e dalle letture pressorie della soletta(A). Figure 6: Pressioni e angoli registrati e relativa stimolazione durante esperimenti su scale. È possibile osservare come la stimolazione segue il segnale dei sensori senza mostrare dealy (<15ms). Una discussione più dettagliata su questo argomento verrà trattata nel capitolo 5.2.2. In Figure 8 sono riportati diversi indici misurati con (Proprioception, Touch, Proprioceptio + Touch) e senza (NF) ripristino del feedback sensoriale. XI Figure 7: Numero di passi effettuati senza guardare verso il basso nelle varie prove. XII Figure 8: Risultati delle analisi di test su scale svolte in senso orario in condizioni di Non-Feedback (“NF”), Feedback Propriocettivo (“P”), Touch Feedback (“T”), e la combinazione delle ultime due condizioni (“P+T”). Dai dati emerge che, con la stimolazione modulata dalla combinazione di segnali derivanti da pressione plantare e dall’angolo del ginocchio, il paziente è stato in grado di ottenere un cammino più fisiologico con salite e discese più veloci (Figure 8) e con più confidenza (Figure 7), come spiegato più approfonditamente nel capitolo 5.2. DISCUSSIONE E SVILUPPI FUTURI I risultati ottenuti dai test svolti su soggetto sano dimostrano la conformità del sistema sensorizzato sviluppato con i requisiti di progetto. In particolare è stata dimostrata l’utilizzabilità del sistema durante task funzionali, garantendo l’assenza di ingombri limitanti o alteranti le attività deambulatorie. Le scelte fatte in materia di posizionamento dei sensori e il tipo di output fornito dal device sono risultati anch’essi XIII conformi alle richieste a tal punto da permettere l’utilizzo del sistema in trial su soggetto amputato. Ulteriori test sperimentali di pre-validazione hanno dimostrato come sia possibile registrare output differenti e coerenti in relazione a diversi tipi di attività quotidiane svolte, ponendo le basi per possibili sviluppi futuri. Dal punto di vista dell’hardware, sviluppi futuri potrebbero riguardare la miniaturizzazione del circuito di acquisizione e trasmissione, con il conseguente rinnovo del sistema di alimentazione. Dopo aver confermato che il sistema non venga inficiato dalla diverse morfologie e rigidità offerte da un piede prostetico, si è proceduto a testare l’intero sistema sul paziente. Differenze significative nelle performance sono emerse quando al paziente veniva restituito il feedback, risultando questo, quindi, un elemento chiave per ottenere un rimpiazzo “naturala” a seguito di perdita dell’arto inferiore. Gli aspetti più critici riscontrati durante queste prime prove riguardano la ripetibilità nel posizionamento della suola all’interno della scarpa e la relativamente limitata (4 ore) autonomia del device. Altri limiti riscontrati riguardano il fenomeno dell’assuefazione agli stimoli e la stabilità della mappa sensore-sensazione. Il paziente ha infatti riportato l’affievolirsi o la perdita della sensazione elicitata se la stimolazione veniva protratta troppo a lungo; inoltre durante il corso degli esperimenti è stato necessario revisionare la mappa sensore-sensazione più volte. Ulteriori analisi su soggetti differenti sono in ogni caso necessarie per poter trarre conclusioni, soprattutto su fenomeni non indagati in questo lavoro di carattere esplorativo. Dal punto di vista tecnologico, la soluzione sviluppata è stata scelta per essere utilizzata su un secondo paziente, confermando che la tecnologia impiegata è stata ritenuta ottemperante alle aspettative.