Engineering and pre-processing data strategies and their impact on performance of an ANN for sport events classification

This thesis focuses on improving the performance of a sports tracking device (XSEED, Soccerment Srl, Milano, Italia) in classifying technical football metrics. Through extensive data acquisition and advanced preprocessing strategies, the dataset was significantly expanded, leading to substantial improvements in the neural network's classification accuracy. The device demonstrated a notable enhancement in event recognition and classification, achieving a macro F1 score of 0.80, an improvement of 9% over the previous model. The neural network architecture remained the same, but hyperparameter optimization played a crucial role in this advancement. The false negative rate decreased by 30%, and the false positive rate for technical events dropped by 60%, showcasing the device's increased robustness, even when worn incorrectly. A comprehensive and effective data collection and labeling workflow was developed, resulting in a robust training dataset enriched with realistic match data, including over 1,800 technical events from official matches and more than 1,000 events from under-15 players. This realistic data was essential for refining the neural network's kinematic event recognition capabilities, allowing for more accurate classification of events such as curve kicks, instep kicks, and side-foot kicks. Despite these advancements, the model still exhibits biases, particularly in distinguishing between high-intensity events during training and match conditions. Additionally, purely kinematic classifications of events remain challenging. Future work should focus on further balancing the dataset and enhancing the neural network's ability to classify events based solely on kinematic data.

Questo studio mira a migliorare le prestazioni del dispositivo di monitoraggio sportivo (XSEED, Soccerment Srl, Milano, Italia) nella classificazione delle metriche tecniche del calcio. Attraverso un'acquisizione dati estesa e strategie avanzate di pre-elaborazione, il dataset è stato notevolmente ampliato, portando a miglioramenti significativi nell'accuratezza di classificazione della rete neurale. Il dispositivo ha dimostrato un notevole miglioramento nel riconoscimento e nella classificazione degli eventi, raggiungendo un punteggio macro F1 di 0.80, con un miglioramento del 9% rispetto al modello precedente. L'architettura della rete neurale è rimasta invariata, ma l'ottimizzazione degli iperparametri ha giocato un ruolo cruciale in questo avanzamento. Il tasso di falsi negativi è diminuito del 30%, mentre il tasso di falsi positivi per eventi tecnici è calato del 60%, dimostrando una maggiore robustezza del dispositivo, anche quando indossato in modo errato. È stato sviluppato un flusso di lavoro completo ed efficace per la raccolta e l'etichettatura dei dati, risultando in un dataset di addestramento robusto, arricchito con dati realistici di partite, inclusi oltre 1.800 eventi tecnici da partite ufficiali e più di 1.000 eventi da giocatori under 15. Questi dati realistici sono stati essenziali per affinare le capacità di riconoscimento cinematico degli eventi della rete neurale, consentendo una classificazione più accurata di eventi come calci a curva, calci d'interno piede e calci di piatto. Nonostante questi progressi, il modello presenta ancora bias, in particolare nella distinzione tra eventi ad alta intensità durante l'allenamento e le partite. Inoltre, le classificazioni puramente cinematiche degli eventi restano difficili. I lavori futuri dovrebbero concentrarsi su un ulteriore bilanciamento del dataset e sul miglioramento della capacità della rete neurale di classificare gli eventi basandosi esclusivamente sui dati cinematici.