On-the-edge gait analysis and human activity recognition using smart earable inertial measurement units

Wearable devices are becoming more and more common, especially for continuous health monitoring. Among them, earables refer to earbuds or headphones, which can be exploited for health monitoring applications when embedded with sensors such as Inertial Measurement Units (IMUs). This work, carried out in collaboration with STMicroelectronics, focuses on the use of smart 6-axis IMUs, the LSM6DSV16BX and the LSM6DSO16IS, to achieve on-the-edge gait analysis and Human Activity Recognition (HAR). Therefore, the aim is to fill the gap found in the literature regarding the deployment of online algorithms for both tasks. For what concerns gait analysis, an implemented algorithm able to extract various parameters (number of steps, step and stride duration, stance and swing phases, single and double support phases, step and stride length, gait speed) led to an average absolute error below 1.5% with respect to the reference in the number of counted steps. The other results were compared to those given by an offline Python code. The algorithm was then embedded in the Intelligent Sensor Processing Unit (ISPU) of the LSM6DSO16IS. With regards to HAR, two tasks were analyzed: the first one focused on dynamic activities (go upstairs, go downstairs, sit on a chair, stand up from a chair, walk, stay still), while the second one led to the recognition of a subject's posture (sitting, standing). The best results for the first task were achieved by the ISPU of the LSM6DSO16IS programmed with a Convolutional Neural Network (CNN) having an accuracy of 99.2% with 3-second long windows as input. The second task was better handled by a decision tree in the Machine Learning Core (MLC) of the LSM6DSV16BX, with an accuracy of 79.1% with 4-second long inputs. This work proves the feasibility of embedding gait analysis and HAR algorithms in an earable device by exploiting smart IMUs, thus achieving online on-the-edge data processing.

I dispositivi wearable sono sempre più diffusi, soprattutto per quanto riguarda la possibilità di monitorare in modo continuo la salute di chi li indossa. Tra questi, i dispositivi earable includono le cuffie, che possono essere utilizzate per applicazioni legate al monitoraggio della salute, se dotate di sensoristica, come ad esempio sensori inerziali (IMU). Questo studio, svolto in collaborazione con STMicroelectronics, riguarda l'utilizzo di due IMU intelligenti a 6 assi, l'LSM6DSV16BX e l'LSM6DSO16IS, per svolgere l'analisi del cammino e il riconoscimento di attività umana on-the-edge. Quindi, l'obiettivo è quello di colmare le lacune trovate in letteratura riguardanti l'utilizzo di algoritmi online per entrambi gli ambiti. Per quanto riguarda l'analisi del cammino, un algoritmo capace di estrarre vari parametri (numero di passi, durata di passo e stride, fasi di swing e di stance, fasi di singolo e doppio appoggio, lunghezza di passo e stride, velocità del cammino) ha portato ad un errore medio minore di 1.5% nel conteggio del numero dei passi. Gli altri risultati sono stati invece confrontati con quelli restituiti da un algoritmo offline in Python. L'algoritmo è stato poi caricato sull'Intelligent Sensor Processing Unit (ISPU) presente nell'LSM6DSO16IS. Passando al riconoscimento di attività umana, sono stati analizzati due task diversi: il primo riguarda attività dinamiche (salire le scale, scendere le scale, sedersi su una sedia, alzarsi da una sedia, camminare, stare fermi), mentre il secondo ha portato alla classificazione della posizione del soggetto (seduto, in piedi). I migliori risultati per la prima classificazione sono stati ottenuti dall'ISPU del LSM6DSO16IS, programmato con una rete neurale convoluzionale avente un'accuratezza di 99.2% utilizzando un input di 3 secondi. La seconda classificazione è stata affrontata in modo migliore da un albero decisionale sul Machine Learning Core (MLC) dell'LSM6DSV16BX, con un'accuratezza del 79.1% con un input di 4 secondi. Questo lavoro prova la fattibilità di caricare algoritmi per l'analisi del cammino e per il riconoscimento di attività umana in un dispositivo earable sfruttando sensori inerziali intelligenti, ottenendo così un'analisi di dati on-the-edge.