Improving human activity recognition by means of object detection using deep learning

Due to the continuous development of automation and using machines instead of humans in many aspects of life, a vast number of researches are dedicated to Human Activity Recognition, recently. In this study, to improve recognition performance of a machine in a shopping mall we implemented a methodology which in a parallel can distinguish the human action of eating and drinking by first, implementing an Action Recognition model by extracting features through a CNN then by using a LSTM-RNN we train the model and simultaneously, we use an object recognition by implementing YOLO V4 and the results of both steps will be used to calculate the final estimation. We are using the UCF 101 dataset, which is containing 101 realistic action videos for LSTM-RNN and large-scale object detection COCO dataset for object recognition in video frames.

A causa del continuo sviluppo dell'automazione e dell'utilizzo di macchine al posto dell'uomo in molti aspetti della vita, un vasto numero di ricerche è stato dedicato al riconoscimento dell'attività umana, di recente. In questo studio, per migliorare le prestazioni di riconoscimento di una macchina in un centro commerciale abbiamo implementato una metodologia che parallelamente può distinguere l'azione umana del mangiare e del bere dapprima, implementando un modello di Action Recognition estraendo le caratteristiche tramite una CNN poi utilizzando un LSTM-RNN addestriamo il modello e, contemporaneamente, utilizziamo un riconoscimento di oggetti implementando YOLO V4 ei risultati di entrambi i passaggi verranno utilizzati per calcolare la stima finale. Stiamo utilizzando il set di dati UCF 101, che contiene 101 video di azione realistici per LSTM-RNN e il set di dati COCO per il rilevamento di oggetti su larga scala per il riconoscimento di oggetti nei fotogrammi video.