Estimation of a climber's centre of mass fusing information from a sensorized climbing wall and a monocular video

This study presents a groundbreaking method for measuring the Center of Mass trajectory during climbing, which overcomes the limitations of traditional marker-based systems. The method utilizes a sensorized climbing wall and a monocular camera placed in front of the climber to create a simple yet effective setup that can accurately extract valuable biomechanical parameters, such as the Center of Mass of the climber. The system combines force signals collected from the sensorized climbing wall with the reconstruction of the climber's pose using a neural network trained on the monocular video. To accurately determine the Center of Mass during climbing, a 2D extraction was initially performed using the camera-based system. This involved computing a weighted average of the various body masses from the pose detected by the neural network, and its accuracy was then validated against the widely accepted gold standard, Vicon optoelectronic system. The study shows that the accuracy of the Center of Mass calculation from the camera is significantly higher when using the front view compared to the side view. Finally, in order to capture the three-dimensional trajectory of the Center of Mass during climbing, the study developed sensor fusion algorithms to integrate information from both the camera-based system and the sensorized climbing wall. The integration of computer vision methods and a sensorized climbing wall allows for precise and complete calculation of the Center of Mass during climbing activity, demonstrating the potential of combining computer vision and force sensor technologies for human movement analysis in climbing.

Questo studio presenta un metodo innovativo per misurare la traiettoria del Centro di Massa durante l'arrampicata, che supera i limiti dei sistemi tradizionali basati su marcatori riflettenti. Il metodo utilizza una parete di arrampicata sensorizzata e una telecamera monoculare posizionata di fronte al soggetto ricreando una configurazione semplice ed efficace, in grado di estrarre con precisione alcuni parametri biomeccanici, come il Centro di Massa dell'arrampicatore. Il sistema combina i segnali di forza raccolti dalla parete sensorizzata con la ricostruzione della posa del soggetto mediante una rete neurale addestrata sul video monoculare. Per determinare con precisione il Centro di Massa durante l'arrampicata, inizialmente è stata eseguita un'estrazione 2D con il sistema basato sulla telecamera. Il Centro di Massa è stato calcolato a partire dalla posa rilevata dalla rete neurale mediante il modello geometrico che si basa sul principio delle medie ponderate del Centro di Massa relativo ad ogni segmento anatomico. La sua accuratezza è stata poi convalidata rispetto al gold standard, il sistema optoelettronico sviluppato da Vicon. Lo studio dimostra che l'accuratezza del calcolo del Centro di Massa dalla telecamera è significativamente maggiore quando si utilizza la vista frontale rispetto a quella laterale. Infine, per catturare la traiettoria tridimensionale del Centro di Massa durante l'arrampicata, lo studio ha sviluppato algoritmi di sensor fusion per integrare le informazioni provenienti sia dal sistema basato sulla telecamera sia dalla parete sensorizzata. L'integrazione di tecnologie di computer vision e sensori di forza su una parete sensorizzata consente una valutazione completa e precisa del movimento umano durante l'attività di arrampicata, dimostrando il potenziale dell'utilizzo combinato di queste tecnologie nella determinazione del Centro di Massa e nell'analisi del movimento in arrampicata.