Audio-video techniques for the analysis of players behaviour in Badminton matches

Tracking and studying players behaviors and statistics has always been paramount in professional sports. Athletes are constantly monitored during training in order to boost their performance by means of ad-hoc sessions and strategies. Games and matches are always recorded by trainers to be further analyzed to extract useful statistics and study both own players and the adversaries. Unfortunately, great part of this useful analysis is customary carried out by expert operators that manually annotate videos and recordings. Thanks to the great advances in computer vision and deep learning, it is nowadays possible to help manual annotators by means of automatic or semi-automatic multimedia analysis techniques. In this work, we propose a solution for the analysis of Badminton players behavior through audio and video analysis. Given a Badminton match video under analysis, we propose a series of techniques that allow: (i) to detect active scenes of interest by means of video frames comparison; (ii) to detect and track players position on the field by means of a Convolutional Neural Network (CNN) adapted to our task; (iii) to detect and track shuttlecock position across frames exploiting an ad-hoc CNN, and; (iv) to detect shuttlecock shots by both players with a novel audio-visual analysis method. Results obtained on a series of annotated videos show the performance achieved by each piece of our system, showcase a preliminary further application of our analysis, and highlight critical issues for future studies.

L'analisi del comportamento dei giocatori e lo studio delle statistiche ad esso correlate è da sempre un punto cardine nello sport professionistico. Gli atleti durante gli allenamenti vengono costantemente monitorati con l'obiettivo di migliorare le performance attraverso sessioni e strategie create ad-hoc. Gli allenatori registrano continuamente partite in modo da poterle analizzare con maggior attenzione, allo scopo di estrarre statistiche utili a tracciare un completo profilo sia dei propri giocatori che dei giocatori avversari. Sfortunatamente, però, l'estrazione della gran parte di queste utili statistiche è ancora svolta da esperti del settore che annotano manualmente video e registrazioni. Grazie all'avanzamento nel campo della computer vision e del deep learning, oggigiorno è possibile dare un supporto all'annotazione manuale introducendo delle tecniche automatiche o semi-automatiche di analisi multimediale. In questo elaborato, viene proposta una soluzione per l'analisi audio e video del comportamento di giocatori di Badminton. Ponendo sotto esame un video di una partita di Badminton, vengono qui proposte una serie di tecniche che consentono: (i) l'individuazione attiva delle sezioni di interesse del video, utilizzando metodi comparativi tra frames; (ii) l'individuazione e il tracciamento della posizione dei giocatori sul campo, mediante una Convolutional Neural Network (CNN) adattata ai nostri fini; (iii) l'individuazione e il tracciamento della posizione del volano nei frame, sfruttando una appositamente sviluppata CNN, e ; (iv) il rilevamento dei colpi al volano inferti da entrambi i giocatori, attraverso l'utilizzo di un innovativo metodo di analisi audiovisiva. I risultati ottenuti su una serie di video pre-annotati mostra le performance ottenute da ogni componente del sistema, le preliminari applicazioni a cui può portare quest'analisi e mette in mostra le criticità del problema per gli studi futuri.