Human activity recognition and novelty detection using a single chest-mounted sensor

In the last 20 years, advances in ubiquitous computing and machine learning enabled the implementation of powerful solutions in wearable sensors and health monitoring, making Human Activity Recognition (HAR) techniques a major instrument used in medical assistance and prevention fields. These algorithms are used to identify the activities performed by a user by analysing signals sensed with wearable devices, cameras or environmental sensors. The aim of this thesis was to employ HAR to identify seven postures and movements starting from data collected by a sensor, called Seismote, placed on the chest of subjects in an everyday life scenario. In particular, the activities we analysed in this work were: lying, sitting, standing, walking, running, ascending and descending stairs. The real-case context introduced several challenges due to the high variability of data among different subjects and different grounds. In addition, we couldn’t rely on the closed set classification, which is based on the assumption that the activity performed in a certain instant is certainly one among the activities we analysed. Indeed, a wide range of activities can be carried out by a person and it is unfeasible to collect and make a dataset with all of them. The proposed approach is intended to address these issues, in order to be employed as a support instrument for research purposes. The algorithm is based on a two-stage machine learning procedure thus, data is initially preprocessed, segmented and a set of features is extracted from segments of signals, then these parameters are fed into the model for the learning or prediction process. Our algorithm applies a multi-level classification to input data, first assigning to the input a group of activities, then identifying the most likely activity in the group. The group level is composed by several classifiers, each one purposely trained to identify activities which belong to a certain group. Thus, an input instance could be assigned to none, one or multiple groups. This approach allows us to implement the novelty detection, thus an instance is labelled as unknown if it is predicted to be part of a number of groups different from exactly one. After this step, the instances assigned to a group composed by more than one activity, are analysed by the corresponding classifier, used to distinguish among the activities members of the group. Each model used in our implementation is a Random Forest made by 200 decision trees. The algorithm’s effectiveness in predicting the activities of our interest was measured using the LOSO approach, a method used to assess a model with data of unseen subjects, and resulted in mean PPV = 100% and mean TPR ≥ 96% over the four groups in the first classification level, and in mean PPV ≥ 95% and mean TPR ≥ 91% over the seven activities in the second classification level. We evaluated the models’ capability in detecting novelty activities, resulting in a mean accuracy ≥ 82% over four different groups of activities unseen in the training sets. Finally, we analysed the algorithm’s behavior in a real-scenario through video inspection of almost an hour of recording, noticing successful classification results. The proposed solution and its evaluation are based on a dataset composed by signals we collected from 17 healthy subject which performed a protocol wearing a Seismote on the chest. In conclusion, the performance obtained in our analysis suggests the possibility of utilization of the proposed solution as a healthcare and research tool in a real-life environment.

Negli ultimi 20 anni, i progressi nell’ubiquitous computing e nel machine learning hanno reso possibile l’implementazione di potenti soluzioni nel campo dei sensori indossabili e del monitoraggio della salute, rendendo le tecniche di HAR uno strumento importante nei settori della prevenzione e dell’assistenza medica. Questi algoritmi vengono utilizzati per identificare le attività compiute dalle persone tramite i segnali acquisiti con dispositivi indossabili, videocamere o sensori ambientali. L’obbiettivo di questa tesi è stato l’utilizzo della HAR per identificare sette posture e movimenti partendo dai dati ottenuti con un sensore, chiamato Seismote, posizionato sul petto dei soggetti in uno scenario di vita quotidiana. In particolare, le attività che abbiamo analizzato in questo lavoro sono stare sdraiato, seduto, in piedi, camminata, corsa, salita e discesa delle scale. Il contesto del caso reale ha introdotto alcuni problemi dovuti all’alta variabilità dei dati tra differenti soggetti e differenti terreni. Inoltre, non è possibile utilizzare una classificazione basata sull’ipotesi dell’insieme chiuso, cioè la supposizione che l’attività svolta in un certo istante sia sicuramente una tra quelle da noi analizzate. Infatti, un’ampia gamma di attività possono essere svolte da una persona ed un dataset contenente tutte le attività non è realizzabile. L’approccio proposto si propone di risolvere questi problemi, in modo tale da essere utilizzato come strumento di supporto ai fini della ricerca. L’algoritmo è basato su un approccio di machine learning a due fasi quindi, i dati vengono inizialmente preprocessati, segmentati e un insieme di features viene estratto dai segmenti di segnale, successivamente questi parametri vengono immessi nei modelli per i processi di apprendimento e predizione. Il nostro algoritmo applica ai dati di input una classificazione multi-livello, prima assegnando all’input un gruppo di attività, poi identificando l’attività più probabile tra quelle all’interno del gruppo. Il livello di gruppo è composto da diversi classificatori, ognuno addestrato per identificare le attività che appartengono a un gruppo specifico, quindi un esempio di input può essere assegnato a nessuno, uno o più gruppi. Questo approccio ci permette di implementare la novelty detection, quindi un esempio viene etichettato come sconosciuto se viene predetto facente parte di un numero di gruppi diverso da esattamente uno. Dopo questa fase, gli esempi assegnati a un gruppo composto da più di una attività vengono analizzati dal classificatore corrispondente, utilizzato per distinguere tra le attività del gruppo. Ogni modello utilizzato nella nostra implementazione è un Random Forest composto da 200 alberi decisionali. L’efficacia dell’algoritmo nella predizione delle attività di nostro interesse è stata misurata utilizzando l’approccio LOSO, un metodo utilizzato per valutare un modello con dati di soggetti sconosciuti, ed ha raggiunto PPV = 100% e TPR ≥ 96% in media sui quattro gruppi nel primo livello di classificazione, e ha raggiunto PPV ≥ 95% e TPR ≥ 91% in media sulle sette attività nel secondo livello di classificazione. Abbiamo valutato la capacità del modello nell’identificazione delle attività sconosciute, raggiungendo un’accuracy ≥ 82% media su quattro differenti gruppi di attività non inserite nei dati di addestramento. Per ultimo, abbiamo analizzato il comportamento dell’algoritmo nel caso reale tramite video ispezione di un’ora di registrazione, notando eccellenti risultati di classificazione. La soluzione proposta e la sua valutazione sono basati su un dataset composto da segnali che abbiamo acquisito da 17 soggetti sani che hanno eseguito un protocollo indossando un Seismote sul petto. In conclusione, le performance ottenute nella nostra analisi suggeriscono la possibilità di utilizzo della soluzione proposta come uno strumento per la ricerca e l’assistenza sanitaria, in un contesto di vita quotidiana.