Recognising simultaneous human activities from single pose data

HAR plays a crucial role in understanding human behavior through computational models, essential for applications ranging from healthcare monitoring, assistive robotics, and intelligent surveillance systems. This thesis explores advancements in HAR leveraging datasets like POLIMI-ITW-S and V-COCO. Five distinct models — 2S-AGCN, MS-G3D, CTR-GCN, Efficient-GCN, and HD-GCN — were evaluated on the POLIMI-ITW-S and V-COCO datasets. Initial evaluations on POLIMI-ITW-S demonstrated modest performance metrics such as Top1 and Top5 accuracies, precision, recall, and F1-score. However, transitioning to the more complex V-COCO dataset posed challenges, highlighting the need for multi-label classification to accurately capture diverse human interactions. By adopting a multi-label strategy, the models showed significant improvement on the V-COCO dataset. Evaluation metrics including Hamming score, precision, recall, and F1-score exhibited notable enhancements, demonstrating the efficacy of the approach in handling nuanced activities within real-world scenarios. Qualitative analysis further illustrated strengths and limitations of models through visual examples from V-COCO, showcasing accurate predictions and error cases. These insights underscored the capabilities of models in understanding complex actions and interactions, while also revealing areas for further refinement.

Il campo della HAR svolge un ruolo cruciale nella comprensione del comportamento umano attraverso modelli computazionali, essenziale per applicazioni che vanno dal monitoraggio della salute, alla robotica assistiva e ai sistemi di sorveglianza intelligenti. Questa tesi esplora i progressi nell'ambito di HAR, utilizzando dataset come POLIMI-ITW-S e V-COCO. Cinque diversi modelli — 2S-AGCN, MS-G3D, CTR-GCN, Efficient-GCN, e HD-GCN — sono stati valutati sui dataset POLIMI-ITW-S e V-COCO. Le valutazioni iniziali su POLIMI-ITW-S hanno dimostrato una performance modesta in termini di Top1 e Top5 accuracies, precision, recall e F1-score. Tuttavia, il passaggio al più complesso V-COCO dataset ha sollevato delle sfide, evidenziando la necessità di una classificazione multi-etichetta per catturare adeguatamente azioni che co-esistono nella stessa immagine. Adottando una strategia multi-etichetta, i modelli hanno mostrato un miglioramento significativo sul dataset V-COCO. Le metriche di valutazione, tra cui Hamming score, precision, recall e F1-score, hanno mostrato notevoli miglioramenti, dimostrando l'efficacia dell'approccio nel gestire il riconoscimento di attività simultanee da singole immagini. L'analisi qualitativa ha ulteriormente illustrato punti di forza e limiti dei modelli attraverso esempi visivi estratti da V-COCO, mostrando previsioni accurate e casi di errore. Questi risultati hanno evidenziato le capacità dei modelli di comprendere azioni e interazioni complesse, rivelando al contempo aree per ulteriori miglioramenti ed estensioni del lavoro.