Automatic classification and quality assessment of functional exercises via smartwatch-based inertial measurements

The increasing availability of wearable devices and the connected growth of high-quality services offer new possibilities to reconsider the way of conceiving exercise. Technological products related to the tracking and the evaluation of functional exercises become appealing not only for athletes, but also for people with health concerns. Furthermore, these services meet the professional's need, of trainers and doctors, for a remote supervision of athletes and patients activities: monitoring users performance, providing optimised training sessions or preventing risk of injuries via exercise execution errors detection. This remote supervisory tool represents a fundamental instrument in Covid-19 era, that is making distance trainings often compulsory, but has a wide-range applications also for the care of elderly people or patients affected by trauma. This study proposes a user-independent approach able to provide automatic tracking of training sessions without any kind of user interaction, via an off-the-shelf, wrist-worn, smartwatch. In order to achieve this objective, an exhaustive set of features is extracted starting from inertial measurements, then an eXtreme Gradient Boosting model identifies periods of activity, corresponding to sets of repetitions, within this continuous stream of data. Successively, a Multilayer Perceptron model assigns a label to each activity period, depending on the type of exercise performed, while a counting algorithm associates the number of executed repetitions to each exercise. Finally, an estimate of the power developed while training is obtained, together with the computation of two innovative metrics evaluating the technique with which a set of repetitions is performed: one that quantifies the activity along a frontal plane relying on the variance of the velocity signal along a vertical axis, and the other that compares the sets of exercises with an optimal reference relaying on pairwise correlation coefficients among three-dimensional velocity signal. Data coming from 13 participants were used to test the validity of the activity recognition, exercises classification (with 10 different classes) and repetitions counting stages. Accuracy greater than 95% characterises the two classifiers. The exercise sets are correctly counted (within 1 repetition error margin) more than 96% of the times. Classification and counting performance show an improvement of the literature state-of the-art results. This analysis pipeline was also realised in the form of a hybrid mobile application, based on a web server, gathering excellent users feedback. Power computation, instead, was carried out for 8 repeated workouts composed by three different exercises in order to analyse athlete's performance improvement over time. Finally, the exercise technique assessment was accomplished for 60 distinct sets of the same exercise, performed by 3 different athletes, clearly distinguishing correct sets from faulty ones. The introduced approach and the remarkable results with respect to the previous state-of-the-art open up the possibility to enhance the development of exercise technique metrics based on the analysis of inertial measurements. Results prove that complete, automatic tracking of functional exercises via smartwatch-based inertial measurements is feasible and advantageous to monitor and quantify athletes performance over time.

La sempre crescente disponibilità di dispositivi indossabili e l’annessa crescita di servizi di alta qualità offrono nuove possibilità di riconsiderare il modo di concepire l’attività fisica. Prodotti tecnologici collegati al tracciamento e alla valutazione di esercizi funzionali diventano attraenti non solo per atleti, ma anche per persone con problemi di salute. Oltretutto, questi servizi soddisfano la necessità di una supervisione remota, da parte di professionisti (allenatori o dottori), delle attività di atleti e pazienti: analisi delle prestazioni, sessioni di allenamento ottimizzate o prevenzione del rischio di infortuni attraverso il riconoscimento di errori di esecuzione. Tale strumento di supervisione remota rappresenta un’applicazione fondamentale nell'era del Covid-19, dove gli allenamenti a distanza sono resi spesso obbligatori, ma ha anche un ampio ventaglio di applicazioni per la cura di persone anziane o pazienti affetti da trauma. Questo studio propone un approccio, indipendente dall’utente, in grado di fornire un monitoraggio automatico delle sessioni di allenamento senza alcun tipo di interazione da parte dell’utilizzatore, sfruttando uno smartwatch disponibile sul mercato, indossato al polso. Per conseguire tale scopo, un esaustivo set di feature è stato estratto a partire dalle misure inerziali, in seguito un modello eXtreme Gradient Boosting è stato implementato al fine di identificare periodi di attività, corrispondenti a set di esercizi, all’interno di un flusso continuo di dati. Un modello Multilayer Perceptron, invece, è stato adottato per assegnare un’etichetta, dipendente dal tipo di esercizio svolto, a ciascun periodo di attività. Un algoritmo di conteggio è stato successivamente sviluppato per contare il numero di ripetizioni eseguite per ciascun esercizio. Infine, si è proposto un metodo per la stima della potenza sviluppata durante l’allenamento, insieme all’implementazione di due metriche innovative per valutare la tecnica con cui un set di esercizi è eseguito. La prima metrica quantifica l’attività lungo un piano frontale sfruttando la varianza del segnale di velocità lungo un asse verticale. La seconda metrica, invece, compara i set di esercizi con un riferimento ottimo, avvalendosi dei coefficienti di correlazione tra coppie di variabili appartenenti a un segnale di velocità tridimensionale. I dati provenienti da 13 partecipanti sono stati utilizzati per testare la validità delle fasi di: riconoscimento di attività, classificazione di esercizi (con 10 differenti classi) e conteggio delle ripetizioni. Un’accuratezza più alta del 95% caratterizza i due classificatori. I set di esercizi, invece, sono contati correttamente (entro un margine di errore di 1 ripetizione) più del 96% delle volte. Le prestazioni di classificazione e di conteggio mostrano un avanzamento dei risultati rispetto alla letteratura. Questa sequenza di operazioni è stata anche testata nella forma di un’applicazione ibrida per telefoni, basata su un web server, raccogliendo ottimi riscontri da parte degli utenti. Il calcolo della potenza è stato attuato per 8 allenamenti ripetuti, composti da tre differenti esercizi, al fine di analizzare nel tempo l'incremento di prestazioni di un atleta. La valutazione della tecnica, infine, è stata portata a termine per 60 distinti set dello stesso esercizio, eseguiti da 3 diversi atleti, riuscendo a distinguere chiaramente i set eseguiti correttamente da quelli completati con una tipologia di errore. Il metodo introdotto e gli ottimi risultati ottenuti aprono la possibilità di approfondire lo sviluppo di metriche per la valutazione della tecnica basate su misure inerziali. I dati dimostrano che un monitoraggio completo ed automatico di esercizi funzionali, utilizzando misure inerziali provenienti da uno smartwatch, è possibile e vantaggioso al fine di osservare e quantificare le prestazioni degli atleti nel tempo.