Electrode shift detection: an algorithmic method for enhanced upper limb prosthesis control

Upper limb amputation introduces a notable decrement in functionality, impacting personal independence and impeding the performance of everyday tasks, work-related activities, and social interactions. Consequently, prostheses have emerged as a transformative intervention, seeking to emulate the biological limb with precision, trying to enable the restoration of functionality at the best of their possibility. Nowadays, the forefront of prosthetic innovation resides in myoelectric prostheses. These prostheses exhibit the capability to detect muscle contractions via surface electromyography (sEMG) signals generated by voluntary intention and translate them into prosthetic movements. This translation from user intention to prosthetic action is usually made by machine learning (ML) algorithms using the information extracted from the EMG signals. Usually these prostheses are controlled by two superficial dry electrodes which, unfortunately, allow for the control of only a limited number of degrees of freedom due to the restricted information they provide. Present technological advancements and research efforts are now moving to increase the controllable degrees of freedom, therefore the sources of information provided to ML algorithms have to be increase. This requires to expand the muscle activity information, augmenting the number of the electrode. With this high density-EMG (HD-EMG) electrode solution, the quality of data and their repeatability are essential to guarantee a robustness control via ML algorithms. However, EMG signals are susceptible to several factor and one of the most critical is the electrode shift, i.e. the relative displacement between the electrode and the skin. In fact, during dynamic movements, the shifting of electrodes can alter the shape of the acquired EMG signal, posing a significant consideration for reliable control. The aim of this thesis is to investigate and validate an algorithm designed for the estimation of relative displacement between the electrode and the skin, in order to counteract the problem of the electrode shift. Upon successful measurement of the shift, the EMG signals employed for classification purposes will undergo correction. This correction process can be achieved changing the position of the socket when the prosthesis is worn, till the acquired EMG signals match the ones on which the ML algorithm was trained. The thesis has been developed at the Rehab-Technologies Laboratory of Istituto Italiano di Tecnologia (IIT) of Genova in order to integrate this algorithm with the Hannes system. The Hannes system is a poly-articulated prosthetic hand, able to restore up to 90% of human ability, resulted from the collaboration between the IIT and Centro Protesi INAIL of Vigorso di Budrio. The approach to measuring the shift between the electrode and the skin has been developed firstly on data collected from a controlled scenario and then tested on data acquired from an uncontrolled environment. The idea was to create color-scale maps derived from EMG signals corresponding to specific gestures, to represent the muscle activation, and then use them for measuring the shift. To define the optimal procedure, ten distinct gestures, five different procedures to create the maps, and seven evaluation shift methods to measure the displacement were examined. Subsequently, an analysis of variance (ANOVA) test was conducted to identify the most effective combination of the analyzed variables. The comprehensive study identified the most effective combination of gestures, map type, and shift evaluation method. Precisely, gestures involving hand opening, hand closing, and wrist extension were identified as the most efficacious. The most effective mapping approach involved the order of the most sensitive electrodes extracted from the non-negative matrix factorization (NMF) applied to the raw EMG signals. Finally, the optimal method for evaluating electrode shift resulted a combination of cross-correlation and identification of the correlation coefficients matrix center through a weighted average. This combination yielded an overall mean accuracy of 78.44% in a controlled environment and 87.62% in an uncontrolled setting.

L’amputazione dell’arto superiore comporta una notevole diminuzione della funzionalità, con un impatto sull’indipendenza personale e sull’esecuzione dei compiti quotidiani, delle attività lavorative e delle interazioni sociali. Di conseguenza, le protesi sono emerse come un intervento trasformativo, che cerca di emulare con precisione l’arto biologico, cercando di consentire il ripristino della funzionalità al meglio delle proprie possibilità. Al giorno d’oggi, l’avanguardia dell’innovazione protesica risiede nelle protesi mioelettriche. Queste protesi hanno la capacità di rilevare le contrazioni muscolari tramite segnali elettromiografici di superficie (sEMG) generati da un’intenzione volontaria e di tradurli in movimenti protesici. Questa traduzione dall’intenzione dell’utente all’azione protesica viene solitamente effettuata da algoritmi di machine learning (ML) utilizzando le informazioni estratte dai segnali EMG. Di solito queste protesi sono controllate da due elettrodi superficiali a secco che, purtroppo, permettono di controllare solo un numero limitato di gradi di libertà a causa delle informazioni limitate che forniscono. Gli attuali progressi tecnologici e gli sforzi di ricerca si stanno ora muovendo per aumentare i gradi di libertà controllabili. Ciò richiede di espandere le informazioni sull’attività muscolare, aumentando il numero di elettrodi. Con questa soluzione di elettrodi ad alta densità (HD), la qualità dei dati e la loro ripetibilità sono essenziali per ottenere un controllo affidabile attraverso algoritmi di pattern recognition. Tuttavia, i segnali EMG sono soggetti a diversi fattori e uno dei più critici è l’electrode shift, cioè lo spostamento relativo tra l’elettrodo e la pelle. Infatti, durante i movimenti dinamici, lo spostamento degli elettrodi può alterare la forma del segnale EMG acquisito, ponendo un problema significativo per un controllo affidabile. Lo scopo di questa tesi è quello di studiare e validare un algoritmo progettato per la stima dello spostamento relativo tra l’elettrodo e la pelle, al fine di contrastare il problema dell’electrode shift. Una volta misurato con successo lo spostamento, i segnali EMG utilizzati per la classificazione saranno sottoposti a correzione. Questo processo di correzione può essere ottenuto sia attraverso regolazioni manuali del dispositivo protesico sia attraverso l’elaborazione dei dati. La tesi è stata sviluppata presso il Laboratorio Rehab-Technologies dell’Istituto Italiano di Tecnologia (IIT) di Genova per integrare questo algoritmo con il sistema Hannes. Il sistema Hannes è una mano protesica poliarticolata, in grado di ripristinare fino al 90% delle capacità umane, nata dalla collaborazione tra l’IIT e il Centro Protesi INAIL di Vigorso di Budrio. L’approccio per la misurazione dello spostamento tra l’elettrodo e la pelle è stato sviluppato prima su dati raccolti in uno scenario controllato e poi testato su dati acquisiti in un ambiente non controllato. L’idea era quella di creare mappe a scala di colori derivate dai segnali EMG corrispondenti a gesti specifici, per rappresentare l’attivazione muscolare, e poi utilizzarle per misurare lo spostamento. Per definire la procedura ottimale, sono stati esaminati dieci gesti distinti, cinque diverse procedure per creare le mappe e sette metodi di misurazione dello spostamento. Successivamente, è stato condotto un test di analisi della varianza (ANOVA) per identificare la combinazione più efficace delle variabili analizzate. Lo studio completo ha identificato la combinazione più efficace di gesti, tipo di mappa e metodo di valutazione dello spostamento. In particolare, i gesti che coinvolgono l’apertura e la chiusura della mano e l’estensione del polso sono stati identificati come i più efficaci. L’approccio di mappatura più efficace prevedeva l’ordine degli elettrodi più sensibili estratti dalla non-negative matrix factorization (NMF) applicata ai segnali EMG grezzi. Infine, il metodo ottimale per valutare lo spostamento degli elettrodi è risultato una combinazione di cross-correlazione e identificazione del centro della matrice dei coefficienti di correlazione attraverso una media ponderata. Questa combinazione ha prodotto un’accuratezza media complessiva del 78,44% in ambiente controllato e dell’87,62% in ambiente non controllato.