The treated thesis is part of the project Think&Go (Transfer Health INnovation through Knowledge & Generate Organized technological approaches in rehabilitation). The project aims at developing advanced products and services for people with neuromotor disorders, employing innovative technological solutions to improve the accessibility, the monitoring and the effectiveness of the rehabilitation therapy. The collaboration between Politecnico di Milano and Idrogenet, two partners of the project Think & Go, had defined the specific purpose of this work, which regards the integration of a feedback, related to the muscular activity of a neurological patient during the rehabilitation, supported by Gloreha. Gloreha is a robotic glove, manufactured by Idrogenet for the rehabilitation of fine and functional movements of the hand, as may be pitching or the grasping of an object. This work proposes to develop a myoelectric controller, able to classify specific hand movements, including those achievable by Gloreha, starting from few milliseconds window of the electromyographyc signals, detected by a patient’s forearm muscles. The choice of using a few milliseconds of signal comes from the idea to apply the part of the EMG signal corresponding to the electromechanical delay, defined as the temporal delay between muscles activation and effective kinematic movement. The developed system adapts to the actual residual ability of the subject to perform a motor task. In particular, we propose two scenarios: 1) Absence of residual EMG on the paretic limb; 2)Residual presence of EMG on the paretic limb, able to perform partially functional movements. Therefore, the EMG activity is different in function of the motor task that must be done. In the two proposed scenarios, the electrodes can be placed on the healthy limb (scenario 1) or on the paretic limb (scenario 2) of the subject. Gloreha will use the information about the identification of the type of hand movements to support the rehabilitation exercise, following the patient’s will to perform that particular grasp. In the first case, mirror therapy will be performed and it is expected that Gloreha replicates the execution of the hand movement on the patient’s healthy limb quite simultaneously on the paretic limb. In the second case, all the information comes from the paretic limb. The designed controller would allow verifying the patient’s active participation during the rehabilitation exercise. The creation of a mechanism, which provides an active participation of the subject during the rehabilitation, improves the success of the therapy. In particular, it promotes the reorganization of neural network with beneficial effects on the motor rehabilitation. (Hu et al. 2008) Imposing a volitional effort and the patient’s commitment to achieve a goal and to see a planned exercise completed at that was not achievable by the patient himself, provides somatosensory feedbacks that improves the brain plasticity. This happens as many synapses in the brain have Hebbian features and reinforce themselves if there is a temporal alignment between the effort to perform the movement and the planning of the motion. (Sejnowski & Tesauro 1989) In literature, many studies have been conducted, by involving the use of superficial electromyographic signals, acquired on forearm muscles, for the realization of myoelectric controllers. (Bitzer & Van Der Smagt 2006) (Maier & Smagt 2008) (Arjunan & Kumar 2010) The use of the electromyographic signal in these works varies from the study of the relationship between a electromyographic signal and kinematics, (Fligge et al. 2013), to the study of the physical properties of an object to grasp during the grasp of the object phase. (Muceli & Farina 2012) Examples about the versatility of the use of superficial electromyography signals emerge from these applications. In all the studied works, the electromyography signal has been used in its entirety, from the beginning to the end of the contraction or for an high percentages of the signal, i.e 50% - 70% . (Muceli & Farina 2012) In the present work, we propose an innovative use of the electromyographic signal to produce a controller, based on the acquisition of a few milliseconds of signal from the beginning of EMG onset of interest. In particular, we want to take advantage of a physiological characteristic of the muscles: the electromechanical delay. The electromechanical latency is defined as the temporal distance between the start of an electromyographic signal (electromyographic onset) and the beginning of the kinematic movement (kinematic onset). In literature, there is an estimate of the latency 100 ms. (Cavanagh & Komi 1979) The implementation of a myoelectric controller, based on the electromechanical latency phase, would allow to drive Gloreha, so that it will support the execution of a hand movement, before it is actually realized by the user, ensuring the advantage of the patient’s total involvement during the rehab. Throughout the design phase of the controller, we guaranteed a special attention to the applicability of the algorithms, implemented in a real work environment. The experimental tests were carried out on ten healthy subjects of 25-26 years, three males and seven females. Experimental set-up - the literature set-ups inspired the experimental set-up proposed in this work. For the electrode placement, we considered the ease and velocity of positioning, favoring the application by non-experts. Five pairs of electrodes in bipolar configuration are equi-spaced along a circumference around the forearm, about two fingers from the elbow. In this way, we lose the detection of an anatomical detailed information (for example the activation of the flexor muscle), in favor of the information about a more general muscle activity, due to the presence of muscles synergies. To limit the relative movement between the electrodes and the skin, a band fixed the electrodes. The rest position of the subject provides that the arm is placed parallel to the horizontal flat surface and that the hand remains open, perpendicularly to the work flat surface. The wrist is inserted within an hand made system that prevents the subject from prono supinating the wrist, limiting the occurrence of the cross-talk phenomenon. The grasps treated in this work are five and they have been selected from those achievable with Gloreha (i.e Pitching, Grasp an object, Grasping, Lateral grasp, Wave): . Electromyographic onset definition - The first analyzed perspective is the automatic identification of the electromyographic onset. The implemented algorithm is innovative compared to the algorithms in literature and it is based on a low-pass filtering at 0.1 Hz of the average of electromyographic signals acquired. The filtered acquired signal, which can be definied as the envelope of the electromyographic signals, will have the local minima, corresponding to the sought electromyographic onset. The algorithm is simple, fast and robust. The implementation of a filter leads in fact to the calculation of an algebraic sum and the low cutoff frequency of the filter eliminates any rapid changes that can negatively affect the correct identification of the onsets. The cutoff frequency plays a key role in this phase. The identification of the frequency ultimately occurs by following a statistical survey, calculating the indices of precision and recall, following the application of the filter with different frequencies (0.01 Hz, 0.05 Hz, 0.1 Hz, 0.15 Hz e 0.2 Hz). They are identified by following a first execution of the algorithm for the identification of an optimal range of frequencies, in which to conduct the research. The first validation phase, it shows that the cutoff frequencies 0.05 Hz and 0.1 Hz have values of precision and recall closer to 1. For this reason, the next survey will be conducted only with these two cutoff frequencies. A further validation of the onsets identification algorithm is realized through the comparison with the results obtained by the application of an algorithm based on a threshold often used in the literature, in which, however, we cannot find an algorithm that can be defined as the gold standard. To quantitatively evaluate the distance between the onset identified with the automatic algorithm and the onset identified with the threshold algorithm, we have calculated the median of the distribution of the distances between onset. In particular, we evaluated two distributions: 1) the distance between the onset in absolute value; 2) the distance as the difference, with the sign, between the onsets. Direct estimate of the electro-mechanical latency – The integration of electromyographic data, acquired for the development of the controller with kinematic data, allowed the calculation of a direct estimate of the electromechanical delay. The estimate of the electromechanical latency did not provide satisfactory and comparable results with those reported in the literature. It was therefore chosen to work with a latency provided in a well-designed paper in literature and a time window of 100 ms starting from electromyographyc onset was selected. With this choice, the myoelectric controller developed works, assuming that a movement takes two seconds, with about 5% of the contraction and this is an innovative proposal with respect to the work presented in the literature in which them work with at least 50% of the contraction as previously discussed. Structure of the myoelectric controller For the realization of the myoelectric controller, we worked with artificial neural networks, using them as classifiers. Artificial Neural Network Architecture – The architecture of the realized classifier has two-steps. In the first phase, we explore the acquired electromyographic signals with the aim of determining whether some tasks can be grouped into appropriate clusters. Clusters are made by applying the K-means algorithm, applied to every subject and at every work session. The evaluation of the optimal clustering occurred by calculating the Silhouette average coefficient for every possible clustering and by choosing the one that got the higher Silhouette coefficient. Following the creation of the cluster, more neural networks working in cascade, were trained, initially identifying the cluster to which a hand movement belongs (first neural network) and then, in the cluster previously identified, classifying the movement realized. The training of neural networks, realized with this structure, is conducted at the beginning of each rehabilitative session, asking the subject to perform five repetitions for each grasp. This way, trained networks cascade networks are immediately applicable within the experimental session, by removing some of the typical problems of the electromyographic controllers, such as the inter-session variability of the acquired signal. Each neural network of this proposed architecture has the same structure. In the input layer, there are 1025 inputs, corresponding to the samples in the latency phase of the signal (205 samples for each one of the five electromyographic channels). An output layer has a variable number of neurons, depending on the outcome of the application of the K-Mean algorithm; each neuron has the softmax function as activation function. The softmax function is a probability function that associates to each neuron of the output layer the probability that the input to the neural network belongs to the cluster represented by that same neuron. The learning rate of the networks is set to 0.01. To choose the number of neurons in the hidden layer, the activation function of the neurons in the hidden layer and the duration of the latency to consider, we carried out validation tests in the first phase of the work. We arrived to the following choices: the hidden layer contains 20 neurons with a sigmoid as activation function and the duration of the latency was chosen to 100 ms. Results on healthy subjects – We evaluated the goodness of the proposed neural network architecture by applying the networks in cascade to the repetition, not used in the training phase, and by evaluating the percentage of repetition correctly classified. The results on healthy subjects are an average success rate of 72% with a standard deviation of 8%. Effect of the muscle fatigue - It has also been investigated how much muscle fatigue affects the success of the application of the classifier. We carried out the test, by subdividing the movements, not used for training the network, into three groups, each consisting of five movements for each grasp. The movements were taken in their order of execution. To neural networks in cascade, groups were applied as inputs, evaluating the average percentages of success. We found out that the fatigue happened with the increasing of the duration of the session. In particular, we noticed that the average percentage of the correct classifications, calculated on all the subjects, proceeded from the 77% ± 11% in the first group to the 65% ± 15% of the third group, because of fatigue. Set-up and results on a neurological patient - Following the good results obtained on healthy subjects, we did a pilot test on a neurological patient of 48-years of age, female, with an injury, following an ischemic stroke in the left hemisphere, capsular striatum, occurred in April 2014. The experimental protocol used on healthy patients was modified, by placing electrodes on the affected arm (the right in this pilot test) and by reducing the grasps from five to three (pitching, grasp an object and grasping), thus simplifying the exercises that the patient had to perform. The results obtained from the application of myoelectric controller on the neurological patient ended up with a very encouraging result 82% of correctly classified repetitions. Conclusions – the development of the myoelectric controller, based on the electromechanical latency of the muscles of the forearm, has provided satisfactory results in the application on healthy subjects and a very good result in the application on a neurological patient. In this paper, we paid particular attention to the automatic identification of the electromyography onset, with satisfactory results even in this case. The estimate of the electromechanical latency, through the integration with kinematic information, has not given appreciable results and the latency, used in all the phases of this work, was based on information available in the literature. Future Developments - Conducting further tests, especially on neurological patients, will improve the statistical significance of the results, obtained in this work. It will allow the study and the implementation of classification systems in real time, effectively applicable during a rehabilitation treatment. Organization of the thesis - The thesis is structured according to the following: 1) Scientific context and introduction to the research; 2) Description of the experimental protocol, description and validation of a new algorithm for automatic detection of the electromyographic onset, estimation of latency electromechanical; 3) Development and validation of the myoelectric controller; 4) Conclusions and future prospective The work developed in this thesis was partially submitted to the sixth edition of the Italian Forum for Ambient Assisted Living (ForItAAL) (Gandolla M., S. Ferrante, Baldassini D., Cotti Cottini M. and A. Pedrocchi, EMG- controlled robotic hand rehabilitation device for domestic training)

Il lavoro di tesi svolto si inserisce nel contesto del progetto Think&Go (Transfer Health INnovation through Knowledge & Generate Organised technological approaches in rehabilitation). Il progetto si propone l’obiettivo di sviluppare prodotti e servizi avanzati per soggetti affetti da patologie neuromotorie utilizzando soluzioni tecnologiche innovative per migliorare l’accessibilità, il monitoraggio e l’efficacia della terapia riabilitativa. L’obiettivo specifico di questo lavoro è stato definito dalla collaborazione tra Politecnico di Milano e Idrogenet, due partner del progetto Think&Go, e riguarda l’integrazione di un feedback relativo all’attività muscolare di un paziente neurologico durante la riabilitazione motoria supportata da Gloreha. Gloreha è un guanto robotico realizzato da Idrogenet per la riabilitazione di movimenti fini e funzionali della mano, come possono essere una presa a pinza o l’impugnatura di un oggetto. Questo lavoro si propone di sviluppare un controllore mioelettrico in grado di classificare specifiche prese, tra quelle realizzabili da Gloreha, a partire da una finestra temporale di pochi millisecondi dei segnali elettromiografici rilevati dai muscoli dell’avambraccio di un paziente durante un trattamento riabilitativo. La scelta di utilizzare pochi millisecondi di segnale nasce dall’idea di utilizzare la parte di segnale elettromiografico relativa al ritardo elettromeccanico, definito come la distanza temporale tra attivazione muscolare e movimento cinematico. Il sistema sviluppato si adatta alla capacità effettiva residua del soggetto di svolgere un compito motorio. In particolare si propongono due scenari: 1) Assenza di EMG residuo sull’arto paretico; 2) Presenza di EMG residuo sull’arto paretico in grado di eseguire parzialmente movimenti funzionali, l’attività EMG è quindi diversa in funzione del compito motorio che deve essere svolto. Nei due scenari proposto gli elettrodi possono essere posizionati o sull’arto sano (scenario 1) o sull’arto paretico (scenario 2) del soggetto. L’informazione relativa all’identificazione del tipo di presa sarà utilizzata da Gloreha per supportare l’esercizio riabilitativo a seguito della volontà di un paziente di svolgere quella determinata presa. Nel primo caso si parla di mirror therapy e il Gloreha replicherà sull’arto paretico la presa eseguita dal paziente con l’arto sano, nel secondo Gloreha eseguirà la presa in funzione solamente delle informazioni provenienti dall’arto paretico Il controllore progettato permetterebbe una verifica della partecipazione attiva del paziente durante l’esercizio di riabilitazione. La realizzazione di un dispositivo che permetta una partecipazione attiva del soggetto durante la riabilitazione porta dei miglioramenti nel buon esito della terapia favorendo in particolare la riorganizzazione dei percorsi neurali con effetti benefici sulla riabilitazione motoria. (Hu et al. 2008) L’imporre uno sforzo e un impegno da parte dal paziente per raggiungere un obiettivo e il vedere completato un esercizio pianificato dal paziente a livello centrale, ma non realizzabile dal paziente stesso, forniscono un feedback somatosensoriale che migliora la plasticità cerebrale in quanto molte delle sinapsi del cervello hanno caratteristiche hebbiane e si rinforzano se c’è un allineamento temporale tra sforzo per eseguire il movimento e pianificazione del movimento stesso. (Sejnowski & Tesauro 1989) In letteratura sono stati svolti numerosi studi che coinvolgono l’utilizzo di segnali elettromiografici superficiali acquisiti dai muscoli dell’avambraccio per la realizzazione di controllori mioelettrici. (Bitzer & Van Der Smagt 2006) (Maier & Smagt 2008) (Arjunan & Kumar 2010) L’utilizzo del segnale elettromiografico in questi lavori varia dallo studio di una relazione tra segnale elettromiografico e cinematica, (Fligge et al. 2013), allo studio di proprietà fisiche di un oggetto da afferrare identificate durante la fase di presa dell’oggetto. (Muceli & Farina 2012) Da queste applicazioni emergono degli esempi in merito alla versatilità dell’utilizzo dei segnali elettromiografici superficiali. In tutti i lavori studiati il segnale elettromiografico è stato utilizzato nella sua interezza, dall’inizio al termine della contrazione o per percentuali elevate di segnale, circa il 50% - 70% della contrazione. (Muceli & Farina 2012) In questo lavoro si propone un utilizzo innovativo del segnale elettromiografico per realizzare un controllore basato sull’acquisizione di pochi millisecondi di segnale a partire dall’inizio della contrazione di interesse. In particolare si vuole sfruttare una caratteristica fisiologica dei muscoli: la latenza elettromeccanica. La latenza elettromeccanica è definita come la distanza temporale che intercorre tra l’inizio di un segnale elettromiografico (onset elettromiografico) e l’inizio del movimento cinematico (onset cinematico). In letteratura è presente una stima della latenza pari 100 ms a partire dall’onset elettromiografico. (Cavanagh & Komi 1979) L’implementazione di un controllore mioelettrico basato sulla fase di latenza elettromeccanica permetterebbe di guidare Gloreha rendendolo in grado di supportare l’esecuzione di una presa prima che questa sia effettivamente attuata dal soggetto portando con se il vantaggio di un totale coinvolgimento del paziente durante la riabilitazione. In tutta la fase di progettazione del controllore è stata data particolare importanza all’applicabilità degli algoritmi implementati in un ambiente di lavoro real-time. Le prove sperimentali sono state svolte su dieci soggetti sani di 25/26 anni tre maschi e sette femmine. Set-up sperimentale - Il set up sperimentale proposto in questo lavoro trae ispirazione dai set up presenti in letteratura. Per il posizionamento degli elettrodi si è tenuto conto della facilità e velocità del posizionamento favorendo anche l’applicazione da parte di personale non esperto. Cinque coppie di elettrodi in configurazione bipolare sono equi spaziati lungo una circonferenza attorno all’avambraccio a circa due dita dal gomito. In questo modo si perde la rilevazione un’informazione anatomica dettagliata (per esempio l’attivazione del muscolo flessore) in favore di un’informazione di carattere più generale dell’attività muscolare grazie anche alla presenza di sinergie muscolari. Per limitare il movimento relativo tra elettrodi e pelle gli elettrodi sono stati fissati mediante l’applicazione di una fascia. La posizione di riposo del soggetto prevede che il braccio sia posto parallelamente al piano orizzontale e che la mano rimanga aperta perpendicolarmente al piano di lavoro. Il polso è inserito all’interno di un sistema che impedisce al soggetto di prono-supinare il polso limitando l’insorgere del fenomeno del cross-talk. Le prese svolte in questo lavoro sono cinque e sono state scelte tra quelle realizzabili con Gloreha (Pinza, Afferrare un oggetto, Pugno, Presa laterale, Onda) Definizione onset elettromiografico - Il primo aspetto analizzato è l’identificazione automatica dell’onset elettromiografico. L’algoritmo implementato è innovativo rispetto agli algoritmi presenti in letteratura ed è basato su un filtraggio passa basso a 0.1 Hz della media dei segnali elettromiografici acquisiti. Il segnale filtrato acquisito, definibile come l’inviluppo dei segnali elettromiografici, avrà i minimi locali corrispondenti agli onset elettromiografici cercati. L’algoritmo si presenta semplice, veloce e robusto. L’implementazione di un filtro si riconduce di fatto al calcolo di una somma algebrica e la bassa frequenza di taglio del filtro elimina eventuali rapide variazioni che possono influenzare negativamente la corretta individuazione degli onset. La frequenza di taglio riveste un ruolo chiave in questa fase e l’individuazione della frequenza definitiva è avvenuta a seguito di un indagine statistica calcolando gli indici precisione e recupero a seguito dell’applicazione del filtro con diverse frequenze (0.01 Hz, 0.05 Hz, 0.1 Hz, 0.15 Hz e 0.2 Hz) individuate a seguito di una prima esecuzione dell’algoritmo per l’individuazione di un range di frequenze ottimale in cui svolgere la ricerca. Da questa prima fase di validazione è emerso che le frequenze di taglio 0.05 Hz e 0.1 Hz hanno valori di precisione e recupero più prossimi ad 1. Per questo motivo la prossima indagine sarà realizzata solo con queste due frequenze di taglio. La successiva validazione dell’algoritmo di identificazione dell’onset elettromiografico è stata realizzata mediante il confronto con i risultati ottenuti dall’applicazione di un algoritmo basato sul calcolo di una soglia spesso utilizzato in letteratura, nella quale però non possiamo reperire un algoritmo che possa essere definito come gold standard. Per valutare quantitativamente la distanza tra gli onset individuati con l’algoritmo automatico e gli onset individuati con l’algoritmo a soglia è stata calcolata la mediana della distribuzione delle distanze degli onset. In particolare sono state valutate due distribuzioni: la prima distribuzione considera la distanza tra gli onset in valore assoluto e la seconda distribuzione considera la distanza come differenza, con segno, tra gli onset individuati con l’algoritmo proposto in questo lavoro e gli onset individuati con l’algoritmo a soglia. Dai risultati ottenuti dalla precedente analisi, in cui i valori mediani ottenuti sono confrontabili con la latenza elettromeccanica di 100 ms, e tenendo conto dei risultati di precisione e recupero è stata scelta come frequenza di taglio la frequenza di 0.1 Hz Stima diretta della latenza elettro-meccanica - L’integrazione dei dati elettromiografici acquisiti per lo sviluppo del controllore con dati di carattere cinematico ha permesso di calcolare una stima diretta della latenza elettro-meccanica. La stima della latenza elettromeccanica non ha fornito risultati soddisfacenti e comparabili con quanto riportato in letteratura. Si è quindi scelto di lavorare con una latenza fornita da un lavoro di letteratura scegliendo una finestra temporale di 100 ms a partire dall’onset elettromiografico. Con questa scelta il controllore mioelettrico sviluppato lavora, nell’ipotesi che un movimento duri due secondi, utilizzando circa il 5% della contrazione ed è una proposta innovativa rispetto ai lavori proposti in letteratura in cui si lavorava con almeno il 50% della contrazione in un lavoro o il 100% della contrazione in altri lavori, come descritto precedentemente. Struttura del classificatore mioelettrico Per la realizzazione del controllore mioelettrico in grado di classificare i diversi tipi di presa si sono utilizzate le reti neurali artificiali. Architettura della rete – L’architettura del classificatore realizzato prevede due passaggi: nella prima fase si esplorano i segnali elettromiografici acquisiti con lo scopo di comprendere se alcune prese possono essere raggruppate in opportuni cluster. I cluster sono realizzati mediante l’applicazione dell’algoritmo K-medie applicato ad ogni soggetto e ad ogni sessione di lavoro. La valutazione del cluster ottimo è avvenuto calcolando il coefficiente di Silhouette medio per ogni possibile clusterizzazione proposta e scegliendo quella che ottenuto il coefficiente di Silhouette maggiore. A seguito della creazione dei cluster sono state addestrate più reti neurali che lavorano in cascata individuando inizialmente il cluster al quale una presa appartiene (prima rete neurale) e successivamente classificando all’interno del cluster precedentemente individuato quale è la presa cercata. L’addestramento delle reti neurali realizzate con questa struttura è svolto all’inizio di ogni sessione riabilitativa chiedendo al soggetto di eseguire cinque ripetizioni per ogni presa. In questo modo le reti in cascata addestrate sono immediatamente applicabili nel set up sperimentale utilizzato nella sessione eliminando alcuni dei problemi tipici dei controllori elettromiografici, come la variabilità inter-sessione del segnale acquisito. Ogni rete neurale di questa architettura proposta ha la medesima struttura: nello strato di ingresso sono presenti 1025 ingressi corrispondenti ai campioni presenti nella fase di latenza del segnale (205 campioni per ognuno dei cinque canali elettromiografici), uno strato nascosto composto da 20 neuroni con funzione d’attivazione la funzione sigmoide dei neuroni dello strato nascosto, uno strato d’uscita ha un numero di neuroni variabile in funzione dell’esito dell’applicazione dell’algoritmo K-medie e ogni neurone ha come funzione d’attivazione la funzione softmax. La funzione softmax è una funzione probabilistica che associa ad ogni neurone dello strato d’uscita la probabilità che l’ingresso alla rete neurale appartenga al cluster rappresentato da quel neurone stesso. Il learning rate delle reti è posto pari a 0.01. Per la scelta del numero di neuroni nello strato nascosto, della funzione di attivazione, del learning rate e della durata della latenza da considerare sono state svolte delle prove di validazione in una prima fase del lavoro e, si è arrivati alle seguenti scelte: lo strato nascosto contiene 20 neuroni con funzione di attivazione una sigmoide e la durata della latenza è stata scelta a 100 ms. Risultati sui soggetti sani - La bontà dell’architettura di rete proposta è stata valutata applicando le reti in cascata a ripetizioni non utilizzate in fase di addestramento valutando la percentuali di ripetizioni correttamente classificate. I risultati ottenuti sui soggetti sani hanno mostrato una percentuale media di successo pari al 72% con una deviazione standard dell’8%. In Tabella 3 vengono riportati i risultati dell’applicazione delle reti a tutti i sani. Ogni riga è riferita ad un soggetto, caso 1 e caso 2 si riferiscono a due sessioni di prova realizzati dallo stesso soggetto a seguito del riposizionando gli elettrodi. La colonna calibrazione contiene i risultati dell’applicazione del classificatore ai pattern su cui è stato addestrato, la colonna generalizzazione della rete contiene i risultati dell’applicazione su pattern sconosciuti al classificatore. L’ultima colonna, cluster, contiene l’architettura delle reti implementate a seguito dell’esecuzione dell’algoritmo K-medie. I numeri si riferiscono alle prese e seguono l’ordine con cui sono state descritte le prese precedentemente (Pinza, afferraggio di un oggetto, pugno, presa laterale e onda). Effetto dell’affaticamento muscolare - È stato inoltre indagato quanto l’insorgere dell’affaticamento muscolare incida sul buon esito dell’applicazione del classificatore. Le prove sono state realizzate suddividendo i movimenti non utilizzati per l’addestramento della rete in tre gruppi, ciascuno composto da cinque movimenti per ogni presa. I movimenti sono stati presi nell’ordine di svolgimento. Alle reti neurali in cascata sono stati applicati come ingressi i gruppi valutando le percentuali medie di successo. È emerso che la fatica interviene con l’aumentare del tempo di svolgimento delle prove. In particolare si nota come la percentuale media di classificazioni corrette calcolata su tutti i soggetti passi dal 77% ± 11% del primo gruppo fino al 65% ± 15% del terzo gruppo per effetto della fatica. Set up e risultati su un paziente neurologico - A seguito dei buoni risultati ottenuti sui soggetti sani, si è svolta una prova pilota su un paziente neurologico di 48 anni di sesso femminile, con lesione a seguito di un ictus ischemico, nell’emisfero sinistro, striato capsulare insorto nell’aprile 2014. Nelle prove svolte sul paziente il protocollo sperimentale utilizzato sui sani è stato modificato posizionando gli elettrodi sul braccio leso (il destro in questa prova pilota) e riducendo le prese da cinque a tre (pinza, afferraggio di un oggetto e pugno) semplificando in questo modo gli esercizi che il paziente doveva svolgere. I risultati ottenuti dall’applicazione del controllore mioelettrico sul paziente neurologico ha fornito risultati decisamente incoraggianti con l’82% di ripetizioni correttamente classificate. Conclusioni – lo sviluppo del controllore mioelettrico basato sulla latenza elettromeccanica dei muscoli dell’avambraccio ha fornito risultati soddisfacenti nell’applicazione su soggetti sani e un risultato molto buono nell’applicazione sul paziente neurologico. In questo lavoro è stata prestata particolare attenzione anche all’individuazione automatica dell’onset elettromiografico, con risultati anche in questo caso soddisfacenti. La stima della latenza elettromeccanica mediante l’integrazione con informazioni di carattere cinematico non ha fornito risultati apprezzabili e la latenza utilizzata in tutte le fasi di questo lavoro si è basata su informazioni presenti in letteratura. Sviluppi futuri - Lo svolgimento di ulteriori prove, soprattutto su pazienti neurologici, migliorerà la significatività statistica dei risultati ottenuti in questo lavoro e permetterà lo studio e l’implementazione di sistemi di classificazione in tempo reale effettivamente applicabili durante un trattamento riabilitativo. Organizzazione della tesi – La tesi è organizzata in quattro capitoli strutturati come segue: 1)I ntroduzione alla problematica e presentazione dello stato dell’arte; 2) Descrizione del protocollo sperimentale, descrizione e validazione di un nuovo algoritmo per l’individuazione automatica degli onset elettromiografici, stima della latenza elettromeccanica; 3) Sviluppo e validazione del controllore mioelettrico; 4) Conclusioni e spunti per gli sviluppi futuri del lavoro Il lavoro svolto in questa tesi è stato in parte sottomesso alla sesta edizione del Forum Italiano per l’Ambient Assisted Living (ForItAAL) (Gandolla M., Ferrante S., Baldassini D., Cotti Cottini M. e Pedrocchi A., EMG-controlled robotic hand rehabilitation device for domestic training)

Sviluppo di un sistema di controllo mioelettrico per la selezione di presa in un trattamento riabilitativo assistito da guanto robotico

BALDASSINI, DAVIDE
2014/2015

Abstract

The treated thesis is part of the project Think&Go (Transfer Health INnovation through Knowledge & Generate Organized technological approaches in rehabilitation). The project aims at developing advanced products and services for people with neuromotor disorders, employing innovative technological solutions to improve the accessibility, the monitoring and the effectiveness of the rehabilitation therapy. The collaboration between Politecnico di Milano and Idrogenet, two partners of the project Think & Go, had defined the specific purpose of this work, which regards the integration of a feedback, related to the muscular activity of a neurological patient during the rehabilitation, supported by Gloreha. Gloreha is a robotic glove, manufactured by Idrogenet for the rehabilitation of fine and functional movements of the hand, as may be pitching or the grasping of an object. This work proposes to develop a myoelectric controller, able to classify specific hand movements, including those achievable by Gloreha, starting from few milliseconds window of the electromyographyc signals, detected by a patient’s forearm muscles. The choice of using a few milliseconds of signal comes from the idea to apply the part of the EMG signal corresponding to the electromechanical delay, defined as the temporal delay between muscles activation and effective kinematic movement. The developed system adapts to the actual residual ability of the subject to perform a motor task. In particular, we propose two scenarios: 1) Absence of residual EMG on the paretic limb; 2)Residual presence of EMG on the paretic limb, able to perform partially functional movements. Therefore, the EMG activity is different in function of the motor task that must be done. In the two proposed scenarios, the electrodes can be placed on the healthy limb (scenario 1) or on the paretic limb (scenario 2) of the subject. Gloreha will use the information about the identification of the type of hand movements to support the rehabilitation exercise, following the patient’s will to perform that particular grasp. In the first case, mirror therapy will be performed and it is expected that Gloreha replicates the execution of the hand movement on the patient’s healthy limb quite simultaneously on the paretic limb. In the second case, all the information comes from the paretic limb. The designed controller would allow verifying the patient’s active participation during the rehabilitation exercise. The creation of a mechanism, which provides an active participation of the subject during the rehabilitation, improves the success of the therapy. In particular, it promotes the reorganization of neural network with beneficial effects on the motor rehabilitation. (Hu et al. 2008) Imposing a volitional effort and the patient’s commitment to achieve a goal and to see a planned exercise completed at that was not achievable by the patient himself, provides somatosensory feedbacks that improves the brain plasticity. This happens as many synapses in the brain have Hebbian features and reinforce themselves if there is a temporal alignment between the effort to perform the movement and the planning of the motion. (Sejnowski & Tesauro 1989) In literature, many studies have been conducted, by involving the use of superficial electromyographic signals, acquired on forearm muscles, for the realization of myoelectric controllers. (Bitzer & Van Der Smagt 2006) (Maier & Smagt 2008) (Arjunan & Kumar 2010) The use of the electromyographic signal in these works varies from the study of the relationship between a electromyographic signal and kinematics, (Fligge et al. 2013), to the study of the physical properties of an object to grasp during the grasp of the object phase. (Muceli & Farina 2012) Examples about the versatility of the use of superficial electromyography signals emerge from these applications. In all the studied works, the electromyography signal has been used in its entirety, from the beginning to the end of the contraction or for an high percentages of the signal, i.e 50% - 70% . (Muceli & Farina 2012) In the present work, we propose an innovative use of the electromyographic signal to produce a controller, based on the acquisition of a few milliseconds of signal from the beginning of EMG onset of interest. In particular, we want to take advantage of a physiological characteristic of the muscles: the electromechanical delay. The electromechanical latency is defined as the temporal distance between the start of an electromyographic signal (electromyographic onset) and the beginning of the kinematic movement (kinematic onset). In literature, there is an estimate of the latency 100 ms. (Cavanagh & Komi 1979) The implementation of a myoelectric controller, based on the electromechanical latency phase, would allow to drive Gloreha, so that it will support the execution of a hand movement, before it is actually realized by the user, ensuring the advantage of the patient’s total involvement during the rehab. Throughout the design phase of the controller, we guaranteed a special attention to the applicability of the algorithms, implemented in a real work environment. The experimental tests were carried out on ten healthy subjects of 25-26 years, three males and seven females. Experimental set-up - the literature set-ups inspired the experimental set-up proposed in this work. For the electrode placement, we considered the ease and velocity of positioning, favoring the application by non-experts. Five pairs of electrodes in bipolar configuration are equi-spaced along a circumference around the forearm, about two fingers from the elbow. In this way, we lose the detection of an anatomical detailed information (for example the activation of the flexor muscle), in favor of the information about a more general muscle activity, due to the presence of muscles synergies. To limit the relative movement between the electrodes and the skin, a band fixed the electrodes. The rest position of the subject provides that the arm is placed parallel to the horizontal flat surface and that the hand remains open, perpendicularly to the work flat surface. The wrist is inserted within an hand made system that prevents the subject from prono supinating the wrist, limiting the occurrence of the cross-talk phenomenon. The grasps treated in this work are five and they have been selected from those achievable with Gloreha (i.e Pitching, Grasp an object, Grasping, Lateral grasp, Wave): . Electromyographic onset definition - The first analyzed perspective is the automatic identification of the electromyographic onset. The implemented algorithm is innovative compared to the algorithms in literature and it is based on a low-pass filtering at 0.1 Hz of the average of electromyographic signals acquired. The filtered acquired signal, which can be definied as the envelope of the electromyographic signals, will have the local minima, corresponding to the sought electromyographic onset. The algorithm is simple, fast and robust. The implementation of a filter leads in fact to the calculation of an algebraic sum and the low cutoff frequency of the filter eliminates any rapid changes that can negatively affect the correct identification of the onsets. The cutoff frequency plays a key role in this phase. The identification of the frequency ultimately occurs by following a statistical survey, calculating the indices of precision and recall, following the application of the filter with different frequencies (0.01 Hz, 0.05 Hz, 0.1 Hz, 0.15 Hz e 0.2 Hz). They are identified by following a first execution of the algorithm for the identification of an optimal range of frequencies, in which to conduct the research. The first validation phase, it shows that the cutoff frequencies 0.05 Hz and 0.1 Hz have values of precision and recall closer to 1. For this reason, the next survey will be conducted only with these two cutoff frequencies. A further validation of the onsets identification algorithm is realized through the comparison with the results obtained by the application of an algorithm based on a threshold often used in the literature, in which, however, we cannot find an algorithm that can be defined as the gold standard. To quantitatively evaluate the distance between the onset identified with the automatic algorithm and the onset identified with the threshold algorithm, we have calculated the median of the distribution of the distances between onset. In particular, we evaluated two distributions: 1) the distance between the onset in absolute value; 2) the distance as the difference, with the sign, between the onsets. Direct estimate of the electro-mechanical latency – The integration of electromyographic data, acquired for the development of the controller with kinematic data, allowed the calculation of a direct estimate of the electromechanical delay. The estimate of the electromechanical latency did not provide satisfactory and comparable results with those reported in the literature. It was therefore chosen to work with a latency provided in a well-designed paper in literature and a time window of 100 ms starting from electromyographyc onset was selected. With this choice, the myoelectric controller developed works, assuming that a movement takes two seconds, with about 5% of the contraction and this is an innovative proposal with respect to the work presented in the literature in which them work with at least 50% of the contraction as previously discussed. Structure of the myoelectric controller For the realization of the myoelectric controller, we worked with artificial neural networks, using them as classifiers. Artificial Neural Network Architecture – The architecture of the realized classifier has two-steps. In the first phase, we explore the acquired electromyographic signals with the aim of determining whether some tasks can be grouped into appropriate clusters. Clusters are made by applying the K-means algorithm, applied to every subject and at every work session. The evaluation of the optimal clustering occurred by calculating the Silhouette average coefficient for every possible clustering and by choosing the one that got the higher Silhouette coefficient. Following the creation of the cluster, more neural networks working in cascade, were trained, initially identifying the cluster to which a hand movement belongs (first neural network) and then, in the cluster previously identified, classifying the movement realized. The training of neural networks, realized with this structure, is conducted at the beginning of each rehabilitative session, asking the subject to perform five repetitions for each grasp. This way, trained networks cascade networks are immediately applicable within the experimental session, by removing some of the typical problems of the electromyographic controllers, such as the inter-session variability of the acquired signal. Each neural network of this proposed architecture has the same structure. In the input layer, there are 1025 inputs, corresponding to the samples in the latency phase of the signal (205 samples for each one of the five electromyographic channels). An output layer has a variable number of neurons, depending on the outcome of the application of the K-Mean algorithm; each neuron has the softmax function as activation function. The softmax function is a probability function that associates to each neuron of the output layer the probability that the input to the neural network belongs to the cluster represented by that same neuron. The learning rate of the networks is set to 0.01. To choose the number of neurons in the hidden layer, the activation function of the neurons in the hidden layer and the duration of the latency to consider, we carried out validation tests in the first phase of the work. We arrived to the following choices: the hidden layer contains 20 neurons with a sigmoid as activation function and the duration of the latency was chosen to 100 ms. Results on healthy subjects – We evaluated the goodness of the proposed neural network architecture by applying the networks in cascade to the repetition, not used in the training phase, and by evaluating the percentage of repetition correctly classified. The results on healthy subjects are an average success rate of 72% with a standard deviation of 8%. Effect of the muscle fatigue - It has also been investigated how much muscle fatigue affects the success of the application of the classifier. We carried out the test, by subdividing the movements, not used for training the network, into three groups, each consisting of five movements for each grasp. The movements were taken in their order of execution. To neural networks in cascade, groups were applied as inputs, evaluating the average percentages of success. We found out that the fatigue happened with the increasing of the duration of the session. In particular, we noticed that the average percentage of the correct classifications, calculated on all the subjects, proceeded from the 77% ± 11% in the first group to the 65% ± 15% of the third group, because of fatigue. Set-up and results on a neurological patient - Following the good results obtained on healthy subjects, we did a pilot test on a neurological patient of 48-years of age, female, with an injury, following an ischemic stroke in the left hemisphere, capsular striatum, occurred in April 2014. The experimental protocol used on healthy patients was modified, by placing electrodes on the affected arm (the right in this pilot test) and by reducing the grasps from five to three (pitching, grasp an object and grasping), thus simplifying the exercises that the patient had to perform. The results obtained from the application of myoelectric controller on the neurological patient ended up with a very encouraging result 82% of correctly classified repetitions. Conclusions – the development of the myoelectric controller, based on the electromechanical latency of the muscles of the forearm, has provided satisfactory results in the application on healthy subjects and a very good result in the application on a neurological patient. In this paper, we paid particular attention to the automatic identification of the electromyography onset, with satisfactory results even in this case. The estimate of the electromechanical latency, through the integration with kinematic information, has not given appreciable results and the latency, used in all the phases of this work, was based on information available in the literature. Future Developments - Conducting further tests, especially on neurological patients, will improve the statistical significance of the results, obtained in this work. It will allow the study and the implementation of classification systems in real time, effectively applicable during a rehabilitation treatment. Organization of the thesis - The thesis is structured according to the following: 1) Scientific context and introduction to the research; 2) Description of the experimental protocol, description and validation of a new algorithm for automatic detection of the electromyographic onset, estimation of latency electromechanical; 3) Development and validation of the myoelectric controller; 4) Conclusions and future prospective The work developed in this thesis was partially submitted to the sixth edition of the Italian Forum for Ambient Assisted Living (ForItAAL) (Gandolla M., S. Ferrante, Baldassini D., Cotti Cottini M. and A. Pedrocchi, EMG- controlled robotic hand rehabilitation device for domestic training)
GANDOLLA, MARTA
FERRANTE, SIMONA
ING - Scuola di Ingegneria Industriale e dell'Informazione
29-apr-2015
2014/2015
Il lavoro di tesi svolto si inserisce nel contesto del progetto Think&Go (Transfer Health INnovation through Knowledge & Generate Organised technological approaches in rehabilitation). Il progetto si propone l’obiettivo di sviluppare prodotti e servizi avanzati per soggetti affetti da patologie neuromotorie utilizzando soluzioni tecnologiche innovative per migliorare l’accessibilità, il monitoraggio e l’efficacia della terapia riabilitativa. L’obiettivo specifico di questo lavoro è stato definito dalla collaborazione tra Politecnico di Milano e Idrogenet, due partner del progetto Think&Go, e riguarda l’integrazione di un feedback relativo all’attività muscolare di un paziente neurologico durante la riabilitazione motoria supportata da Gloreha. Gloreha è un guanto robotico realizzato da Idrogenet per la riabilitazione di movimenti fini e funzionali della mano, come possono essere una presa a pinza o l’impugnatura di un oggetto. Questo lavoro si propone di sviluppare un controllore mioelettrico in grado di classificare specifiche prese, tra quelle realizzabili da Gloreha, a partire da una finestra temporale di pochi millisecondi dei segnali elettromiografici rilevati dai muscoli dell’avambraccio di un paziente durante un trattamento riabilitativo. La scelta di utilizzare pochi millisecondi di segnale nasce dall’idea di utilizzare la parte di segnale elettromiografico relativa al ritardo elettromeccanico, definito come la distanza temporale tra attivazione muscolare e movimento cinematico. Il sistema sviluppato si adatta alla capacità effettiva residua del soggetto di svolgere un compito motorio. In particolare si propongono due scenari: 1) Assenza di EMG residuo sull’arto paretico; 2) Presenza di EMG residuo sull’arto paretico in grado di eseguire parzialmente movimenti funzionali, l’attività EMG è quindi diversa in funzione del compito motorio che deve essere svolto. Nei due scenari proposto gli elettrodi possono essere posizionati o sull’arto sano (scenario 1) o sull’arto paretico (scenario 2) del soggetto. L’informazione relativa all’identificazione del tipo di presa sarà utilizzata da Gloreha per supportare l’esercizio riabilitativo a seguito della volontà di un paziente di svolgere quella determinata presa. Nel primo caso si parla di mirror therapy e il Gloreha replicherà sull’arto paretico la presa eseguita dal paziente con l’arto sano, nel secondo Gloreha eseguirà la presa in funzione solamente delle informazioni provenienti dall’arto paretico Il controllore progettato permetterebbe una verifica della partecipazione attiva del paziente durante l’esercizio di riabilitazione. La realizzazione di un dispositivo che permetta una partecipazione attiva del soggetto durante la riabilitazione porta dei miglioramenti nel buon esito della terapia favorendo in particolare la riorganizzazione dei percorsi neurali con effetti benefici sulla riabilitazione motoria. (Hu et al. 2008) L’imporre uno sforzo e un impegno da parte dal paziente per raggiungere un obiettivo e il vedere completato un esercizio pianificato dal paziente a livello centrale, ma non realizzabile dal paziente stesso, forniscono un feedback somatosensoriale che migliora la plasticità cerebrale in quanto molte delle sinapsi del cervello hanno caratteristiche hebbiane e si rinforzano se c’è un allineamento temporale tra sforzo per eseguire il movimento e pianificazione del movimento stesso. (Sejnowski & Tesauro 1989) In letteratura sono stati svolti numerosi studi che coinvolgono l’utilizzo di segnali elettromiografici superficiali acquisiti dai muscoli dell’avambraccio per la realizzazione di controllori mioelettrici. (Bitzer & Van Der Smagt 2006) (Maier & Smagt 2008) (Arjunan & Kumar 2010) L’utilizzo del segnale elettromiografico in questi lavori varia dallo studio di una relazione tra segnale elettromiografico e cinematica, (Fligge et al. 2013), allo studio di proprietà fisiche di un oggetto da afferrare identificate durante la fase di presa dell’oggetto. (Muceli & Farina 2012) Da queste applicazioni emergono degli esempi in merito alla versatilità dell’utilizzo dei segnali elettromiografici superficiali. In tutti i lavori studiati il segnale elettromiografico è stato utilizzato nella sua interezza, dall’inizio al termine della contrazione o per percentuali elevate di segnale, circa il 50% - 70% della contrazione. (Muceli & Farina 2012) In questo lavoro si propone un utilizzo innovativo del segnale elettromiografico per realizzare un controllore basato sull’acquisizione di pochi millisecondi di segnale a partire dall’inizio della contrazione di interesse. In particolare si vuole sfruttare una caratteristica fisiologica dei muscoli: la latenza elettromeccanica. La latenza elettromeccanica è definita come la distanza temporale che intercorre tra l’inizio di un segnale elettromiografico (onset elettromiografico) e l’inizio del movimento cinematico (onset cinematico). In letteratura è presente una stima della latenza pari 100 ms a partire dall’onset elettromiografico. (Cavanagh & Komi 1979) L’implementazione di un controllore mioelettrico basato sulla fase di latenza elettromeccanica permetterebbe di guidare Gloreha rendendolo in grado di supportare l’esecuzione di una presa prima che questa sia effettivamente attuata dal soggetto portando con se il vantaggio di un totale coinvolgimento del paziente durante la riabilitazione. In tutta la fase di progettazione del controllore è stata data particolare importanza all’applicabilità degli algoritmi implementati in un ambiente di lavoro real-time. Le prove sperimentali sono state svolte su dieci soggetti sani di 25/26 anni tre maschi e sette femmine. Set-up sperimentale - Il set up sperimentale proposto in questo lavoro trae ispirazione dai set up presenti in letteratura. Per il posizionamento degli elettrodi si è tenuto conto della facilità e velocità del posizionamento favorendo anche l’applicazione da parte di personale non esperto. Cinque coppie di elettrodi in configurazione bipolare sono equi spaziati lungo una circonferenza attorno all’avambraccio a circa due dita dal gomito. In questo modo si perde la rilevazione un’informazione anatomica dettagliata (per esempio l’attivazione del muscolo flessore) in favore di un’informazione di carattere più generale dell’attività muscolare grazie anche alla presenza di sinergie muscolari. Per limitare il movimento relativo tra elettrodi e pelle gli elettrodi sono stati fissati mediante l’applicazione di una fascia. La posizione di riposo del soggetto prevede che il braccio sia posto parallelamente al piano orizzontale e che la mano rimanga aperta perpendicolarmente al piano di lavoro. Il polso è inserito all’interno di un sistema che impedisce al soggetto di prono-supinare il polso limitando l’insorgere del fenomeno del cross-talk. Le prese svolte in questo lavoro sono cinque e sono state scelte tra quelle realizzabili con Gloreha (Pinza, Afferrare un oggetto, Pugno, Presa laterale, Onda) Definizione onset elettromiografico - Il primo aspetto analizzato è l’identificazione automatica dell’onset elettromiografico. L’algoritmo implementato è innovativo rispetto agli algoritmi presenti in letteratura ed è basato su un filtraggio passa basso a 0.1 Hz della media dei segnali elettromiografici acquisiti. Il segnale filtrato acquisito, definibile come l’inviluppo dei segnali elettromiografici, avrà i minimi locali corrispondenti agli onset elettromiografici cercati. L’algoritmo si presenta semplice, veloce e robusto. L’implementazione di un filtro si riconduce di fatto al calcolo di una somma algebrica e la bassa frequenza di taglio del filtro elimina eventuali rapide variazioni che possono influenzare negativamente la corretta individuazione degli onset. La frequenza di taglio riveste un ruolo chiave in questa fase e l’individuazione della frequenza definitiva è avvenuta a seguito di un indagine statistica calcolando gli indici precisione e recupero a seguito dell’applicazione del filtro con diverse frequenze (0.01 Hz, 0.05 Hz, 0.1 Hz, 0.15 Hz e 0.2 Hz) individuate a seguito di una prima esecuzione dell’algoritmo per l’individuazione di un range di frequenze ottimale in cui svolgere la ricerca. Da questa prima fase di validazione è emerso che le frequenze di taglio 0.05 Hz e 0.1 Hz hanno valori di precisione e recupero più prossimi ad 1. Per questo motivo la prossima indagine sarà realizzata solo con queste due frequenze di taglio. La successiva validazione dell’algoritmo di identificazione dell’onset elettromiografico è stata realizzata mediante il confronto con i risultati ottenuti dall’applicazione di un algoritmo basato sul calcolo di una soglia spesso utilizzato in letteratura, nella quale però non possiamo reperire un algoritmo che possa essere definito come gold standard. Per valutare quantitativamente la distanza tra gli onset individuati con l’algoritmo automatico e gli onset individuati con l’algoritmo a soglia è stata calcolata la mediana della distribuzione delle distanze degli onset. In particolare sono state valutate due distribuzioni: la prima distribuzione considera la distanza tra gli onset in valore assoluto e la seconda distribuzione considera la distanza come differenza, con segno, tra gli onset individuati con l’algoritmo proposto in questo lavoro e gli onset individuati con l’algoritmo a soglia. Dai risultati ottenuti dalla precedente analisi, in cui i valori mediani ottenuti sono confrontabili con la latenza elettromeccanica di 100 ms, e tenendo conto dei risultati di precisione e recupero è stata scelta come frequenza di taglio la frequenza di 0.1 Hz Stima diretta della latenza elettro-meccanica - L’integrazione dei dati elettromiografici acquisiti per lo sviluppo del controllore con dati di carattere cinematico ha permesso di calcolare una stima diretta della latenza elettro-meccanica. La stima della latenza elettromeccanica non ha fornito risultati soddisfacenti e comparabili con quanto riportato in letteratura. Si è quindi scelto di lavorare con una latenza fornita da un lavoro di letteratura scegliendo una finestra temporale di 100 ms a partire dall’onset elettromiografico. Con questa scelta il controllore mioelettrico sviluppato lavora, nell’ipotesi che un movimento duri due secondi, utilizzando circa il 5% della contrazione ed è una proposta innovativa rispetto ai lavori proposti in letteratura in cui si lavorava con almeno il 50% della contrazione in un lavoro o il 100% della contrazione in altri lavori, come descritto precedentemente. Struttura del classificatore mioelettrico Per la realizzazione del controllore mioelettrico in grado di classificare i diversi tipi di presa si sono utilizzate le reti neurali artificiali. Architettura della rete – L’architettura del classificatore realizzato prevede due passaggi: nella prima fase si esplorano i segnali elettromiografici acquisiti con lo scopo di comprendere se alcune prese possono essere raggruppate in opportuni cluster. I cluster sono realizzati mediante l’applicazione dell’algoritmo K-medie applicato ad ogni soggetto e ad ogni sessione di lavoro. La valutazione del cluster ottimo è avvenuto calcolando il coefficiente di Silhouette medio per ogni possibile clusterizzazione proposta e scegliendo quella che ottenuto il coefficiente di Silhouette maggiore. A seguito della creazione dei cluster sono state addestrate più reti neurali che lavorano in cascata individuando inizialmente il cluster al quale una presa appartiene (prima rete neurale) e successivamente classificando all’interno del cluster precedentemente individuato quale è la presa cercata. L’addestramento delle reti neurali realizzate con questa struttura è svolto all’inizio di ogni sessione riabilitativa chiedendo al soggetto di eseguire cinque ripetizioni per ogni presa. In questo modo le reti in cascata addestrate sono immediatamente applicabili nel set up sperimentale utilizzato nella sessione eliminando alcuni dei problemi tipici dei controllori elettromiografici, come la variabilità inter-sessione del segnale acquisito. Ogni rete neurale di questa architettura proposta ha la medesima struttura: nello strato di ingresso sono presenti 1025 ingressi corrispondenti ai campioni presenti nella fase di latenza del segnale (205 campioni per ognuno dei cinque canali elettromiografici), uno strato nascosto composto da 20 neuroni con funzione d’attivazione la funzione sigmoide dei neuroni dello strato nascosto, uno strato d’uscita ha un numero di neuroni variabile in funzione dell’esito dell’applicazione dell’algoritmo K-medie e ogni neurone ha come funzione d’attivazione la funzione softmax. La funzione softmax è una funzione probabilistica che associa ad ogni neurone dello strato d’uscita la probabilità che l’ingresso alla rete neurale appartenga al cluster rappresentato da quel neurone stesso. Il learning rate delle reti è posto pari a 0.01. Per la scelta del numero di neuroni nello strato nascosto, della funzione di attivazione, del learning rate e della durata della latenza da considerare sono state svolte delle prove di validazione in una prima fase del lavoro e, si è arrivati alle seguenti scelte: lo strato nascosto contiene 20 neuroni con funzione di attivazione una sigmoide e la durata della latenza è stata scelta a 100 ms. Risultati sui soggetti sani - La bontà dell’architettura di rete proposta è stata valutata applicando le reti in cascata a ripetizioni non utilizzate in fase di addestramento valutando la percentuali di ripetizioni correttamente classificate. I risultati ottenuti sui soggetti sani hanno mostrato una percentuale media di successo pari al 72% con una deviazione standard dell’8%. In Tabella 3 vengono riportati i risultati dell’applicazione delle reti a tutti i sani. Ogni riga è riferita ad un soggetto, caso 1 e caso 2 si riferiscono a due sessioni di prova realizzati dallo stesso soggetto a seguito del riposizionando gli elettrodi. La colonna calibrazione contiene i risultati dell’applicazione del classificatore ai pattern su cui è stato addestrato, la colonna generalizzazione della rete contiene i risultati dell’applicazione su pattern sconosciuti al classificatore. L’ultima colonna, cluster, contiene l’architettura delle reti implementate a seguito dell’esecuzione dell’algoritmo K-medie. I numeri si riferiscono alle prese e seguono l’ordine con cui sono state descritte le prese precedentemente (Pinza, afferraggio di un oggetto, pugno, presa laterale e onda). Effetto dell’affaticamento muscolare - È stato inoltre indagato quanto l’insorgere dell’affaticamento muscolare incida sul buon esito dell’applicazione del classificatore. Le prove sono state realizzate suddividendo i movimenti non utilizzati per l’addestramento della rete in tre gruppi, ciascuno composto da cinque movimenti per ogni presa. I movimenti sono stati presi nell’ordine di svolgimento. Alle reti neurali in cascata sono stati applicati come ingressi i gruppi valutando le percentuali medie di successo. È emerso che la fatica interviene con l’aumentare del tempo di svolgimento delle prove. In particolare si nota come la percentuale media di classificazioni corrette calcolata su tutti i soggetti passi dal 77% ± 11% del primo gruppo fino al 65% ± 15% del terzo gruppo per effetto della fatica. Set up e risultati su un paziente neurologico - A seguito dei buoni risultati ottenuti sui soggetti sani, si è svolta una prova pilota su un paziente neurologico di 48 anni di sesso femminile, con lesione a seguito di un ictus ischemico, nell’emisfero sinistro, striato capsulare insorto nell’aprile 2014. Nelle prove svolte sul paziente il protocollo sperimentale utilizzato sui sani è stato modificato posizionando gli elettrodi sul braccio leso (il destro in questa prova pilota) e riducendo le prese da cinque a tre (pinza, afferraggio di un oggetto e pugno) semplificando in questo modo gli esercizi che il paziente doveva svolgere. I risultati ottenuti dall’applicazione del controllore mioelettrico sul paziente neurologico ha fornito risultati decisamente incoraggianti con l’82% di ripetizioni correttamente classificate. Conclusioni – lo sviluppo del controllore mioelettrico basato sulla latenza elettromeccanica dei muscoli dell’avambraccio ha fornito risultati soddisfacenti nell’applicazione su soggetti sani e un risultato molto buono nell’applicazione sul paziente neurologico. In questo lavoro è stata prestata particolare attenzione anche all’individuazione automatica dell’onset elettromiografico, con risultati anche in questo caso soddisfacenti. La stima della latenza elettromeccanica mediante l’integrazione con informazioni di carattere cinematico non ha fornito risultati apprezzabili e la latenza utilizzata in tutte le fasi di questo lavoro si è basata su informazioni presenti in letteratura. Sviluppi futuri - Lo svolgimento di ulteriori prove, soprattutto su pazienti neurologici, migliorerà la significatività statistica dei risultati ottenuti in questo lavoro e permetterà lo studio e l’implementazione di sistemi di classificazione in tempo reale effettivamente applicabili durante un trattamento riabilitativo. Organizzazione della tesi – La tesi è organizzata in quattro capitoli strutturati come segue: 1)I ntroduzione alla problematica e presentazione dello stato dell’arte; 2) Descrizione del protocollo sperimentale, descrizione e validazione di un nuovo algoritmo per l’individuazione automatica degli onset elettromiografici, stima della latenza elettromeccanica; 3) Sviluppo e validazione del controllore mioelettrico; 4) Conclusioni e spunti per gli sviluppi futuri del lavoro Il lavoro svolto in questa tesi è stato in parte sottomesso alla sesta edizione del Forum Italiano per l’Ambient Assisted Living (ForItAAL) (Gandolla M., Ferrante S., Baldassini D., Cotti Cottini M. e Pedrocchi A., EMG-controlled robotic hand rehabilitation device for domestic training)
Tesi di laurea Magistrale
File allegati
File Dimensione Formato  
SVILUPPO DI UN SISTEMA DI CONTROLLO MIOELETTRICO PER LA SELEZIONE DI PRESA IN UN TRATTAMENTO RIABILITATIVO ASSISTITO DA GUANTO ROBOTICO.pdf

accessibile in internet per tutti

Descrizione: Testo della tesi
Dimensione 2.94 MB
Formato Adobe PDF
2.94 MB Adobe PDF Visualizza/Apri

I documenti in POLITesi sono protetti da copyright e tutti i diritti sono riservati, salvo diversa indicazione.

Utilizza questo identificativo per citare o creare un link a questo documento: https://hdl.handle.net/10589/107299