Emotion based machine learning algorithm for an assistive rehabilitation controller

Patients who need upper limb rehabilitation are becoming more and more common. This problem can be solved by robotic technologies. Robotic devices are highly advanced and mostly intended for medical applications. The mechanism under examination was a parallel five bar device with two degrees of freedom. A clamp was used to bind the already designed prototype to one edge of the table. The goal of this thesis project was to assist the patient to perform exercise with human arm. A camera was fixed in front of patient's face. It captured patient's facial emotions and based on these emotions, machine learning algorithm proposed a set of tunnel controller parameters to assist the patient to perform exercise with more enjoyable experience. The method used was artificial neural networks (ANNs) inspired from the human biological neural network, which is the state of the art of neural networks and RNN LSTM. A model of machine learning algorithm was designed for assistive rehabilitation to predict the values of tunnel controller to tune the behaviour of robotic system according to the subject, to make experience of interaction for the patient more enjoyable. The algorithms which were implemented in this research were K-fold ANN, MLP and RNN LSTM model. Among these three algorithms the RNN based LSTM time series forecasting model has shown the best results. Data set included inputs which were emotional states i.e. valence, arousal and pain. After training the data from the data set, the machine learning algorithm proposed a set of control parameters Kp proportional gain, Ki Integral gain, Width of tunnel controller and virtual stiffness for tunnel controller as the outputs to assist the patient. The predicted outputs for tunnel controller were very close to the actual outputs of data set. The researcher itself subjected for the experimental part to examine and explore the performance of the architecture, whereas the future work will consist of extensive experimental campaign.

I pazienti che necessitano di riabilitazione degli arti superiori stanno diventando sempre più comuni. Questo problema può essere risolto con le tecnologie robotiche. I dispositivi robotici sono altamente avanzati e destinati principalmente ad applicazioni mediche. Il meccanismo in esame era un dispositivo a cinque barre parallele con due gradi di libertà. Un morsetto è stato utilizzato per legare il prototipo già progettato a un bordo del tavolo. L'obiettivo di questo progetto di tesi era assistere il paziente nell'esecuzione di esercizi con il braccio umano. Una telecamera è stata fissata davanti al viso del paziente. Ha catturato le emozioni facciali del paziente e sulla base di queste emozioni, l'algoritmo di apprendimento automatico ha proposto una serie di parametri del controller del tunnel per aiutare il paziente a eseguire l'esercizio con un'esperienza più piacevole. Il metodo utilizzato sono le reti neurali artificiali (ANN) ispirate alla rete neurale biologica umana, che è lo stato dell'arte delle reti neurali e dell'RNN LSTM. Un modello di algoritmo di apprendimento automatico è stato progettato per la riabilitazione assistiva per prevedere i valori del controller del tunnel per regolare il comportamento del sistema robotico in base al soggetto, per rendere più piacevole l'esperienza di interazione per il paziente. Gli algoritmi che sono stati implementati in questa ricerca erano il modello K-fold ANN, MLP e RNN LSTM. Tra questi tre algoritmi, il modello di previsione delle serie temporali LSTM basato su RNN ha mostrato i risultati migliori. Il set di dati includeva input che erano stati emotivi, ad esempio valenza, eccitazione e dolore. Dopo aver addestrato i dati dal set di dati, l'algoritmo di apprendimento automatico ha proposto una serie di parametri di controllo Guadagno proporzionale Kp, Guadagno integrale Ki, Larghezza del controller del tunnel e rigidità virtuale per il controller del tunnel come uscite per assistere il paziente. Gli output previsti per il controller del tunnel erano molto vicini agli output effettivi del set di dati. Il ricercatore stesso ha sottoposto per la parte sperimentale ad esaminare ed esplorare le prestazioni dell'architettura, mentre il lavoro futuro consisterà in un'ampia campagna sperimentale.