Development of a cost efficient, NIR based, wearable device for optomyography

The recent discoveries in physiology, electronics and mechanics are opening up new horizon for the human-machine communication. Being able to record, gather and interpret biological signals, to gain real time insights about physiological and medical conditions with non invasive and faster methods has driven the latest advances in the development of the so called wearable devices. Such devices found a thriving environment in solving two clinical problems: on one side the remote control of surgical robots and on the other side the rehabilitation of a patient who lost the control over a certain body part, but can be cured, since both these applications require the detection, evaluation and processing of the user's intention. Within this work, carried out thanks to the collaboration between the BIROMED research center, university of Basel (CH), and the TBM laboratory, Politecnico di Milano (MI), is meant to recognize the hand's movements using infrared light, with a method called Optomyography. The results will be used to compare the usage of a wearable manipulator with another one grounded on a support, with the task of steering an endoscopic arm (MIRACLE project). This technology aims at using infrared light to measure skin’s displacement and consequently the underlying muscle’s contraction. This is a novel technology that has just started to be investigated in literature. This thesis therefore was carried out on one side performing a broad study throughout the literature, to assess the the feasibility of the project and on the other side with the realization of several electronic and mechanical dedicated devices and tests. In vitro tests have been made throughout the design phases, to check to correctness of each and every step, while in vivo tests were developed eventually to assess the statistical significance of the data. Chapter one covers the required medical background that was needed in developing this work. The chapter is also meant to provide a general overview of the clinical problem that this thesis proposes a solution at. The second part is dedicated to the mechanisms that permits the exchanging of information among the different body's districts, since it is a fundamental topic that needs to be understood before scheduling any rehabilitation procedure. The last part of the chapter contains the anatomy and the biomechanics of the forearm's muscles. Chapter two contains the technical study of the infrared interaction with the human body, which eventually lead to the choice of using Optomyography. After that, the technical discussion continues presenting a wide ranged set of technologies used to detect arm and wrist's movement, currently on the market or in an early development phase. Camera tracking with markers, augmented reality with glasses, ultrasound gesture recognition, exoskeletons, sensorized gloves, EMG (Electromyogram) and, of course, NIRS (Near Infrared Spectroscopy) are discussed. At the end of the section, a summary table comprehending the pros and cons of each reviewed method is presented. The chapter ends with a brief description of the algorithm used for the filtering of the signals and the classification of the data, used in almost all the technology seen within the chapter. Chapter three contains the description of the device built throughout the thesis work. The chapter promptly presents the guidelines that drove the entire project. It begins with a generic architecture showing a common data acquisition system, and each section describes the implementation of every functional block of this system. Each choice is justified upon the project needs and high level specifications. The chapter contains a description about the dynamic and conditioning of the transducer, the firmware design and implementation, the communication protocol and the electrical schematic of the connections. Chapter four shows and comments the results of the validation test upon the functional blocks. The first set of in vitro tests represent the validation on the device’s parts. while it was being developed. The second set of tests, called in vivo and performed upon completion of the device, compared the received signals with recordings from electromyograms. The analysis began with a single sensor, using simple correlation algorithms, and proceeded until utilizing a neural network for the classification of the 2D data coming from a 8x4 sensor matrix. The very last part of this thesis comprehends the principal lines of code written to implement the design goals. The complete project, along with the electrical schematics, is saved online in the public GitHub repository at the following url: https://github.com/FrancesoM/ARMBand_PCB. The results have shown that, even though the Optomyography technology is still in an early stage development, it is promising as the acquired values were sufficient to discriminate the hand gestures with a really great accuracy. The final training of the convolutional neural networks was performed with a 1000 images per position (sensor matrix) acquired from five different subjects, each time moving by a small amount the device, in order to increase the variability of the data and cover the most different cases as possible. The resulted weights were exported and used on another network with the same architecture with a classification purpose. Data represents six steady position of the hand: extension, flexion, ulnar deviation and radial deviation, along with the opening and closing of the hand. The neural network was trained multiple times with a random separating technique of the data into test set (25%) and training set (75%). With each training the percentages remained the same, but the test and training sets were mixed. The final goal is twofold: develop a device which is able to classify the movements without a specific calibration per user, and obtain a greater accuracy in recognizing more complex movements such as the finger extension and flexion. Future works may follow different directions. The mechanical part should be made more comfortable with the skin, and manufactured again with smaller PCBs, to fit better in a wearable device. The overall goal is therefore to improve the user experience and test the device with more people, in order to provide more variability to the signals. Another improvement would be to inspect the weights of the convolutional kernels, to understand which part of the sensed image was more important to the discrimination the movements, this task would give insights on the correct number of sensors, and may suggest to increase or decrease the mesh density. One last step would be to detect also the movement of the fingers, since they give different signals but were inspected only visually, a mathematical approach is required. Regarding the sensors, a possible feedback circuit to prevent saturation over different conditions could be created if the phototransistor exposed the base pin. Commercial LED-Phototransistors don’t ship with this pin exposed and the designer would necessary use an LED and a separated Phototransistor, coupling them in the mounting phase, considering that this requires also the correct alignment of the optical lines.

Recenti scoperte in fisiologia, elettronica e meccanica stanno aprendo nuovi orizzonti nel settore della comunicazione uomo-macchina. L'abilità di acquisire e interpretare segnali biologici, ottenendo informazioni in tempo reale sullo stato fisiologico dei soggetti con metodi non invasivi e sempre più veloci ha portato allo sviluppo dei dispositivi cosiddetti "wearable", ossia indossabili, che hanno trovato un ambiente molto fertile nel risolvere due grandi problemi: da una parte la valutazione funzionale per la riabilitazione di pazienti con problemi motori o patologie croniche in genere, dall'altra possono fornire informazioni per realizzare interfacce naturali di controllo di attuatori meccanici, dato che entrambe queste applicazioni richiedono la detezione, valutazione e il processing delle intenzioni dell'utente. Nel presente studio, sviluppato grazie alla collaborazione del centro di ricerca BIROMED, università di Basilea (CH) ed il laboratorio TBM, Politecnico di Milano (IT), si intende valutare un nuovo approccio al riconoscimento dei momenti della mano utilizzando la luca infrarossa, con un metodo chiamato Optomiografia. I risultati ottenuti verranno utilizzati per confrontare l'utilizzo di un manipolatore wearable con uno fissato ad un supporto nel controllare un braccio endoscopico ( MIRACLE Project). Questa nuova tecnologia ha l'obbiettivo di usare la radiazione infrarossa per misurare la deformazione della pelle, e di conseguenza, stimare la contrazione dei muscoli sottostanti. Si tratta di una nuova idea che è da poco comparsa nella letteratura scientifica del settore. Per questo motivo la tesi si è sviluppata da un lato su un ampio studio bibliografico e dall'altro sulla realizzazione di diversi strumenti e test attraverso lo sviluppo di dispositivi elettronici, meccanici ed informatici dedicati. Alcuni test in vitro sono stati eseguiti per verificare la correttezza di ogni passo, mentre test in vivo sono stati sviluppati per accertarsi della significatività statistica dei dati raccolti. Il primo capitolo riassume il background fisiologico necessario per sviluppare questo lavoro. Il capitolo fornisce anche una visione d'insieme sui problemi clinici che potrebbero giovare di un dispositivo di questo genere. La seconda parte invece è dedicata al descrivere la fisiologia del sistema neuro motorio e ai processi che avvengono all'interno del corpo umano per poter trasmettere le informazioni dal cervello ai distretti motori. L'ultima parte comprende una descrizione della biomeccanica della mano. Il secondo capitolo descrive lo studio teorico dell'interazione della radiazione infrarossa con il corpo umano, che ha permesso di formulare delle ipotesi che hanno costituito il fondamento del lavoro progettuale della tesi. Il capitolo procede presentando le tecnologie per optomiografia che attualmente sono sul mercato o in fase di sviluppo. Le tecnologie investigate riguardando il tracking 3D di movimenti con telecamere, l'utilizzo di esoscheletri, l'elettromiografia e altre tecnologie ancora in fase di sviluppo, come tessuti sensorizzati o occhiali per realtà aumentata, utilizzati per il tracking in tempo reale del movimento degli arti superiori, senza previa calibrazione. L'ultima parte della sezione presenta una tabella che ricapitola i pro e contro di ogni metodo investigato, dando una visione d'insieme sul problema. Il capitolo si chiude descrivendo gli algoritmi pi\'f9 diffusi per il processamento dei segnali e la classificazione di dati, usati in quasi tutte le tecnologie analizzate nel corso del capitolo. Il terzo capitolo contiene la descrizione del progetto del dispositivo oggetto della tesi. Il capitolo è strutturato in modo che siano dapprima presentate le linee guida che sono state seguite per sviluppare il progetto, partendo da una architettura generica riguardante un comune sistema di interfacciamento con il mondo reale (sensori ed attuatori). Successivamente, ogni sezione analizza un blocco funzionale di questa catena, spiegando nel dettaglio come è stato poi implementato. Ogni scelta è giustificata sulle basi delle specifiche e dalle esigenze di progetto. Il capitolo contiene una descrizione della dinamica e del condizionamento del transducer, del firmware eseguito dai microcontrollori, dei protocolli di comunicazione utilizzati e degli schemi elettrici delle connessioni. Il capitolo quattro mostra e commenta i risultati dei test di validazione dei vari blocchi funzionali.La prima parte descrive le procedure che sono state eseguite sulle parti del dispositivo. Il secondo blocco comprende i test chiamati in vivo, e comprende la comparazione dei segnali ricevuti dai sensori con segnali derivanti da elettrodi emg. Le analisi sono partite dal singolo sensore, utilizzando semplici algoritmi di correlazione, fino ad arrivare all'utilizzo di una rete neurale per la classificazione dei dati provenienti da una matrice di 8x4 sensori. In appendice alla tesi sono riportate le principali righe di codice scritte per implementare le specifiche di progetto. Il codice completo, assieme agli schemi elettrici, è salvato nella repository GitHub dell'autore, accessibile pubblicamente al seguente link: https://github.com/FrancesoM/ARMBand_PCB\ I risultati hanno mostrato che questa tecnologia, anche se ancora nei primi stadi di sviluppo, è molto promettente in quanto le misure fatte con il dispositivo realizzato sono state sufficienti per discriminare diversi movimenti della mano con una buona accuratezza. Si sono d'apprima addestrate delle reti neurali convoluzionali utilizzando con un training set di 1000 immagini per posizione (matrice di sensori) acquisito da cinque soggetti differenti, spostando leggermente la collocazione del dispositivo ad ogni acquisizione per ottenere una maggiore varianza e coprire più casi possibili. I coefficienti ottenuti sono poi stati esportati ed usati per una rete classificatrice. I dati rappresentano sei posizioni differenti: flessione, estensione, deviazione ulnare e deviazione radiale della mano, più apertura e chiusura della stessa. La classificazione del movimento in fase di acquisizione del movimento è avvenuta tramite inserimento manuale nel software di raccolta dati, sviluppato ad hoc per questo scopo. La rete neurale è stata allenata più volte con un metodo di divisione casuale dei dati fra test set (25%) e training set (75%). Ad ogni allenamenti le percentuali sono rimaste le stesse, ma i dati che ricadevano nelle classi erano differenti. Ad ogni allenamento è stata riscontrata una accuratezza nel predirre le classi superiore al 90%. L'obbiettivo finale è duplice: sviluppare un dispositivo che classifichi i dati in modo naturale, senza bisogno di una calibrazione specifica per ogni utente, ed ottenere maggiore accuratezza nel riconoscimento di altri movimenti più complicati, quali la flessione e l'estensione delle dita. I possibili sviluppi futuri per questo progetto puntano in direzioni differenti. La parte meccanica deve essere resa più confortevole nel contatto con la pelle, e rimpicciolita per poterla inserire meglio in un dispositivo indossabile. L'obbiettivo finale è infatti migliorare l'esperienza d'uso e provare il dispositivo su più persone per introdurre più varianza sui dati raccolti. Un'altra direzione di sviluppo rigurderà l'ispezione dei pesi dei kernel di convoluzione, che potrebbero dare nuove idee sulle zone più importanti da studiare. Questa informazione potrebbe essere usata per decidere di aumentare o diminuire il numero di sensori e identificare una disposizione ottima. Un ultimo ambito di sviluppo sarà discriminare anche i movimenti delle dita, perchè è stato osservato visivamente che ogni dito genera un segnale differente, ma per questo fine andrebbe sviluppato un metodo matematico di classificazione più accurato di quello utilizzato in questo lavoro di tesi . Per quanto riguarda i sensori, quelli commercialmente disponibili che accoppiano LED e fototransistor non espongono il pin di base del fototransistor. In alcuni schemi circuitali più avanzati questa linea può essere utilizzata per retroazionare la corrente di segnale, di modo che si stabilizzi meglio in condizioni diverse.