Deep learning and domain adaptation acceleration-based techniques for human activity recognition in a hospital setting

Human activity recognition via wearables constitutes a pervasive and unobtrusive approach to perform patient monitoring. The first goal of this project was to validate a deep neural network (DNN) devoted to classify activities carried out by healthy patients in a Simulated Hospital Setting (SHS). The robustness of this model was assessed by evaluating it on free-living activities performed by 12 hospitalized patients. 3D acceleration activity data were acquired by a pair of wearables attached on two separate chest locations. The baseline DNN adopted in this work slightly diverged from the SHS one and was able to recognize 5 different hospital activities: Lying, Reclined, Upright, Walking and (self-propelled) Wheelchair. Plus, a rule-based algorithm was evaluated as a stand-alone and in combination with the DNN activity class probability outputs within a Stacked generalization ensemble method. The above-mentioned methods performed quite modestly and suggested to adopt knowledge transfer approaches. Thus, this study addressed a specific research question: to what extent the previously-learned knowledge from source SHS activity data could be transferred to target real hospital setting (RHS)? The first set of test entailed conventional transfer learning techniques. Then, a more refined domain adaptation approach was implemented via domain-adversarial neural networks (DANNs). By testing such architectures both in a unsupervised and semi-supervised learning setting, the optimal configuration (0.73 weighted F1-score) was identified within the latter scenario by revealing small portions of activity data from multiple RHS patients. In conclusion, the RHS dataset resulted quite diverse and different from SHS. Hence, the task similarity between SHS and RHS was leveraged to implement knowledge transfer via DANNs. An in-depth kernel transfer analysis demonstrated that the cross-domain transferability of convolutional layers was quite limited. However, providing small hints of target RHS samples could substantially improve the overall activity recognition performance. This proposed DANN methodology might be used and validated in future tasks by partially annotating target domain activity in a sport-check fashion. This may remarkably unburden the annotation process by preserving fairly good activity recognition performance.

Il riconoscimento delle attività motorie attraverso sensori indossabili rappresenta un approccio non-invasivo per il monitoraggio di pazienti ospedalizzati. L'obiettivo iniziale di questo studio è stato validare una deep neural network (DNN) capace di riconoscere attività simil-ospedaliere svolte da soggetti sani (progetto SHS). La robustezza della DNN è stata valutata su attività svolte da 12 pazienti ricoverati. Esse sono state acquisite come segnali di accelerazione da una coppia di sensori posizionati sul torace. La DNN di riferimento utilizzata in questo studio è in grado di riconoscere 5 classi: Disteso o Reclinato sul letto, postura Eretta, Cammino e spinta della sedia a rotelle. Inoltre, un algoritmo rule-based è stato valutato in autonomia e in combinazione con gli output probabilistici della DNN in un metodo ensemble Stacked generalization. Tali modelli hanno offerto risultati modesti e indirizzato verso approcci basati sul trasferimento di conoscenza. Questo progetto risponde ad una specifica domanda di ricerca: fino a che punto è possibile trasferire la conoscenza appresa sulle attività dal dominio SHS sorgente a quello di destinazione (definito RHS)? I primi esperimenti hanno coinvolto tecniche tradizionali di trasferimento di apprendimento. In seguito è stato implementato un approccio basato su adattamento di dominio attraverso domain-adversarial neural networks (DANNs). Tali architetture sono state addestrate in modalità non(semi)-supervisionata. Il modello DANN ottimale (F1-score pesato: 0.73) è stato ottenuto rivelando porzioni di attività svolte da diversi pazienti RHS durante l'addestramento. In conclusione, il dataset RHS è risultato variegato e differente da quello SHS. La similitudine nell'obiettivo tra i progetti SHS e RHS è stata sfruttata per un trasferimento di conoscenza attraverso DANNs. Un'analisi sul trasferimento dei kernel convoluzionali ha dimostrato che la trasferibilità di essi (da SHS a RHS) è limitata. Fornendo alcune informazioni su attività del dominio RHS durante l'addestramento, si è ottenuto un miglioramento del riconoscimento delle attività. La metodologia DANN proposta in questo lavoro potrebbe essere validata in studi futuri annotando a campione le attività del dominio target. Ciò potrebbe alleggerire il processo di annotazione, preservando una buona performance nella classificazione delle attività.