Multimodal data fusion frameworks for breathing monitoring, human activity and hand gesture recognition

Multimodal data fusion of activity and hand gesture recognition for healthcare, defined as intelligent medical based recognition of daily activity for obtained physiological metrics, is a very young field developing in recent years. Benefited from the state-of-the-art in the area of machine learning (ML) and multimodal data fusion techniques, there are some standard methodologies (e.g., feature sets, classifiers, and learning strategies) successfully applied into the area of human activity and hand gesture recognition for healthcare. However, more specific and robust models are still needed for advancing this area. This thesis proposes three typical tasks by designing multimodal data fusion framework, namely, human activity recognition (HAR) using smartphone, breathing pattern monitoring during daily activity, and depth data guide hand gesture recognition based on surface electromyography (sEMG) signal, respectively. The aim of this thesis is to facilitate the state-of-the-art in activity and hand gesture recognition for healthcare in the following. First, a multimodal data fusion framework is proposed based on sensor-worn and sensor-free devices. To prove the strong versatility of this framework, we use and integrate different sensors to design activity and hand gesture recognition model for healthcare. Second, to enhance the robust and accuracy of the classifier, several learning approaches are present based on deep learning (DL), active learning, hybrid learning strategies. Finally, an unsupervised learning structure is proposed by combining the depth data and sEMG for hand gesture recognition. All the experiments demonstrate the effectiveness of the methodologies proposed in this thesis.

La fusione multimodale di dati di attività e riconoscimento dei gesti delle mani per applicazioni biomedicali e nell’ambito della salute, definita come riconoscimento medico intelligente basato sull'attività quotidiana per le metriche fisiologiche ottenute, è un campo molto giovane che si è sviluppato negli ultimi anni. Traendo vantaggio dallo stato dell'arte nel campo del machine learning (ML) e dalle tecniche multimodali di fusione dei dati, esistono alcune metodologie standard (classificatori e strategie di apprendimento) applicate con successo nell'area dell'attività umana e riconoscimento dei gesti delle mani per applicazioni biomedicali e nell’ambito della salute. Tuttavia, per far avanzare quest'area sono ancora necessari modelli più specifici e robusti. Attraverso la progettazione di una struttura multimodale di fusione dei dati, questa tesi si propone tre obiettivi specifici, cioè il riconoscimento dell'attività umana (HAR) tramite smartphone, il monitoraggio del modello di respirazione durante l'attività quotidiana e il riconoscimento dei gesti mediante analisi del segnale di elettromiografia di superficie (sEMG). Lo scopo di questa tesi è quello di migliorare lo stato dell'arte. Viene proposto un framework di fusione di dati multimodale basato su dispositivi privi di sensori, si utilizzano e integrano diversi sensori per progettare l'attività e il modelli di riconoscimento. In secondo luogo, per migliorare la robustezza e l'accuratezza del classificatore, sono presenti diversi approcci di apprendimento basati su deep learning (DL), apprendimento attivo, strategie di apprendimento ibrido. Infine, viene proposta una struttura di apprendimento senza supervisione combinando i dati di profondità e il sEMG per il riconoscimento dei gesti delle mani. Tutti gli esperimenti dimostrano l'efficacia delle metodologie proposte.