Validation and Use of Markerless Captured Joint Kinematics to Drive a MSK Model for Knee Joint Reaction Force Estimation

The present study validates joint kinematics and kinetics captured by a deep learning-based markerless motion capture system, Theia3D, with a standard marker-based system, Qualisys. Furthermore, this work investigates the use of the markerless capture system as an alternative to traditional marker-based methods in musculoskeletal (MSK) modelling for Knee Joint Reaction Forces (KJRF) estimations. Because no methodology for applying the Theia3D capture data to drive MSK is defined in literature, a pipeline was developed to input the markerless data to successfully run MSK simulations and estimate KJRF. Ten healthy subjects were recruited to perform ten walking trials and were instrumented with reflective markers. Data was simultaneously recorded using eight video cameras for the markerless capture system, and twenty-four cameras of an optoelectronic system. Both sets of processed data were exported for kinematics and kinetics analysis in Visual3D. Joint angles showed similar patterns for flexion/extension at all joints and adduction/abduction for both hip and knee. Highest differences were found for internal/external rotation angles, at the hip (RMSE = 6.0°), knee (RMSE = 10.7°) and ankle (RMSE = 12.0°). Joint moments’ RMSE was < 0.1 Nm/kg for all joints, except for hip flexion/extension (0.14 Nm/kg) and ankle inversion/eversion (0.13 Nm/kg). The KJRF predicted by the markerless and marker-based MSK models showed highest similarities in the medio-lateral direction, with RMSE = 0.09 [N/N]. In the antero/posterior direction the average RMSE was 0.2 [N/N], increasing in correspondence to the peak KJRF, whose value was higher for the marker-basd estimations (1.11 [N/N]) compared to the markerless (0.82 [N/N]) ones. Greater RMSE was measured in the proximo/distal direction (0.6 [N/N]), with greater peak value predicted by the markerless model compared to the marker-based one, amounting to 4.94 and 4.45 [N/N] respectively. These results show comparability of lower limbs’ kinematics and kinetics estimations between capture systems, and hold promise for the applicability of the markerless capture data in the estimation of joint reaction forces using MSK models. However, questions remain on the accuracy of frontal and transverse plane kinematics, as well as limitations related to the proposed markerless-driven MSK model.

Il presente studio convalida la cinematica e la cinematica articolare acquisite da un sistema di cattura del movimento markerless basato su deep learning, Theia3D, con un sistema tradizionale marker-based, Qualisys. Inoltre, questo lavoro esplora l'utilizzo del sistema markerless come alternativa ai metodi tradizionali marker-based nella modellazione muscoloscheletrica (MSK) per la stima delle Forze di Reazione articolare al ginocchio. Non essendo presente in letteratura alcuna metodologia per l’applicazione dei dati acquisiti con Theia3D come input a modelli MSK, è stato sviluppato un flusso di lavoro per poter utilizzare questi dati markerless per eseguire con successo simulazioni MSK. Dieci soggetti sani sono stati reclutati per eseguire dieci prove di cammino, e markers riflettenti sono stati posizionati su punti anatomici di interesse. I dati sono stati registrati contemporaneamente utilizzando otto telecamere video per il sistema markerless, ed un sistema optoelettronico con ventiquattro telecamere. Entrambi i set di dati elaborati sono stati esportati per l’analisi cinematica e dinamica in Visual3D. Gli angoli articolari degli arti inferiori hanno mostrato pattern simili per flesso/estensione in tutte le articolazioni, e per adduzione/abduzione dell'anca e ginocchio. Le differenze più elevate sono state riscontrate negli angoli di rotazione interna/esterna, all'anca (RMSE = 6,0°), ginocchio (RMSE = 10,7°) e caviglia (RMSE = 12,0°). L'RMSE dei momenti articolari è risultato essere < 0,1 Nm/kg per tutte le articolazioni, tranne che per la flessione/estensione dell'anca (0,14 Nm/kg) e l'inversione/eversione della caviglia (0,13 Nm/kg). Le Forze di Reazione articolare al ginocchio predette dai modelli MSK markerless e marker-based hanno mostrato maggiori somiglianze nella direzione medio-laterale, con RMSE = 0.09 [N/N]. Nella direzione antero/posteriore, l'RMSE medio è risultato essere 0,2 [N/N], aumentando in corrispondenza del picco di forza di reazione, il cui valore è stato stimato con ampiezza maggiore dal modello marker-based (1,11 [N/N]) rispetto a quelle markerless (0,82 [N/N]). Maggiori discrepanze sono state misurate nella direzione prossimale/distale (RMSE = 0,6 [N/N]), con un valore di picco maggiore predetto dal modello markerless rispetto a quello marker-based, pari a 4,94 e 4,45 [N/N] rispettivamente. Questi risultati dimostrano la comparabilità delle stime cinematiche e dinamiche degli arti inferiori tra i sistemi di acquisizione, e presentano buone premesse per l'applicabilità dei dati di acquisizione markerless nella stima delle forze di reazione articolari utilizzando modelli MSK. Tuttavia, persistono delle incertezze riguardo all'accuratezza della cinematica nei piani frontale e trasversale, insieme a limitazioni connesse al modello MSK markerless proposto.