A multi-modal approach combining first person vision and surface EMG for the functional assessment of the upper extremities: a feasibility study

Upper extremity (UE) function recovery is essential to improve the quality of life and it is a top priority for people with spinal cord injury (SCI) and stroke. Recent years have seen advancements in daily life assessment and rehabilitation using wearable technologies like first person vision (FPV), which has however some limitations. The aim of this thesis is to develop a multi-modal system that combines FPV and surface electromyography (sEMG) to record activities involving the UE and validate its performance on healthy adults during standardized tasks in a lab setting. The performance of sEMG in detecting functional interactions (i.e., manipulation an object for a functional purpose) was evaluated by training and testing four machine learning algorithms. A deep learning algorithm was utilized to detect hand-object interactions from the FPV frames. The resulting detections were analyzed to obtain the FPV classification performance. Three different combinations of FPV and sEMG were then tested. The first involved concatenating the interaction state from the FPV analysis with the most relevant features extracted from the sEMG signal. The second and third approaches used the AND and OR logical operators, respectively, to combine the interaction state predicted by the sEMG signal and FPV analysis. The performance of single-modal and multi-modal approaches were evaluated using accuracy, F1-score, precision, recall, and specificity metrics. Hand–object interactions were automatically detected with a median accuracy of 0.653 (0.044) for sEMG, 0.650 (0.067) for FPV, 0.716 (0.067) for the FPV and sEMG combination. Our results demonstrated that the multimodal strategy outperformed the two single-modal approaches, as demonstrated by most of the evaluation metrics used in this study. This study suggested that the combination of FPV and sEMG is an effective way to capture both functional and non-functional hand-object interactions in healthy individuals. Future research will involve validating our findings in subjects with SCI or stroke, both in a clinical setting and in their homes.

La ripresa della funzionalità dell'estremità superiore (UE) è essenziale per migliorare la qualità della vita ed è una priorità assoluta per le persone con lesioni al midollo spinale (SCI) e ictus. Negli ultimi anni sono stati fatti progressi nella valutazione della vita quotidiana e nella riabilitazione utilizzando tecnologie indossabili come la visione in prima persona (FPV), che tuttavia ha alcune limitazioni. Lo scopo di questa tesi è quello di sviluppare un sistema multimodale che combina FPV ed elettromiografia superficiale (sEMG) per registrare attività che coinvolgono l'UE e convalidare le sue prestazioni su adulti sani durante attività standardizzate in un ambiente di laboratorio. Le prestazioni di sEMG nel rilevare interazioni funzionali (la manipolazione di un oggetto per uno scopo funzionale) sono state valutate addestrando e testando quattro algoritmi di machine learning. È stato utilizzato un algoritmo di deep learning per rilevare le interazioni tra mano e oggetto dai frame FPV. Le rilevazioni risultanti sono state analizzate per ottenere le prestazioni di classificazione FPV. Sono stati quindi testati tre diverse combinazioni di FPV e sEMG. La prima ha coinvolto la concatenazione dello stato di interazione dall'analisi FPV con le caratteristiche più rilevanti estratte dal segnale sEMG. Il secondo e il terzo approccio hanno utilizzato gli operatori logici AND e OR, rispettivamente, per combinare lo stato di interazione predetto dal segnale sEMG e dall'analisi FPV. Le prestazioni degli approcci single-modal e multi-modal sono state valutate utilizzando metriche di accuratezza, F1-score, precisione, recall e specificità. Le interazioni tra mano e oggetto sono state rilevate automaticamente con una mediana di accuratezza del 0,653 (0,044) per sEMG, 0,650 (0,067) per FPV, 0,716 (0,067) per la combinazione FPV e sEMG. I nostri risultati hanno dimostrato che la strategia multimodale ha superato i due approcci single-modal, come dimostrato dalla maggior parte delle metriche di valutazione utilizzate in questo studio. Questo studio suggerisce che la combinazione di FPV ed sEMG è un modo efficace per catturare interazioni tra mano e oggetto funzionali e non funzionali in individui sani. Ricerche future prevederanno la convalida dei nostri risultati su soggetti con SCI o ictus, sia in un contesto clinico che nelle loro case.