A Comprehensive study of Time Series Cause-Effect Classification and Preservation using Neurochaos Learning

This work presents an in-depth study on the performance evaluation of various machine learning methods for time series classification, with a particular focus on understanding and preserving the causal dynamics of the series themselves. Using the Kernel Granger Causality method, a nonlinear generalization of the classic Granger causality concept, useful for detecting complex causal relationship between time series, we assessed the ability of models to maintain the intrinsic causal relationships in the data. We analyzed three classification methods: Neurochaos Learning (NL), a recently proposed brain-inspired learning algorithm for classification, Multilayer Perceptron (MLP), and Kolmogorov-Arnold Networks (KAN), a novel deep learning model with learnable activation functions. This study aims to demonstrate how preserving causal dynamics can enhance the generalization and robustness capabilities of models through experiments such as noise introduction, few-shot learning, transfer learning and classification on real datasets of various nature from the UCR time series classification archive. The models were tested on synthetic datasets to observe their ability to preserve causal dynamics. Observation of the results suggests that Neurochaos Learning is the method that best preserves the causal dynamics of time series related to the classification problem and also demonstrates superior generalization on the analyzed synthetic data. The analysis of results on real-world datasets indicates that there is currently no universally superior model for time series classification, suggesting that the effectiveness of a model may depend on the specific characteristics of the dataset. In conclusion, this study highlights the importance of preserving and understanding causal dynamics to improve the performance of machine learning models in time series classification and provides significant insights for further research and optimization in this field.

Questo lavoro presenta uno studio approfondito sulla valutazione delle prestazioni di vari metodi di machine learning per la classificazione delle serie temporali, con un focus particolare sulla comprensione e preservazione delle dinamiche causali delle serie stesse. Utilizzando il metodo della Kernel Granger Causality, una generalizzazione non lineare del classico concetto di Granger Causality, utile per individuare relazioni causali complesse tra serie temporali, abbiamo valutato la capacità dei modelli di mantenere le relazioni causali intrinseche nei dati. Abbiamo analizzato tre metodi di classificazione: Neurochaos Learning (NL), un algoritmo recentemente proposto di apprendimento ispirato dalle dinamiche neuronali, utilizzato per la classificazione, Multilayer Perceptron (MLP) e Kolmogorov-Arnold Networks (KAN), una nuova alternativa di modello deep learning con funzioni di attivazione apprendibili. Nello studio si tenta di mostrare come la preservazione delle dinamiche causali possa migliorare le capacità di generalizzazione e robustezza dei modelli, con esperimenti condotti come l'introduzione di rumore, il few-shot learning e la classificazione su dataset reali di varia natura, presi dall' UCR time series classification archive. I modelli sono stati testati su dataset sintetici per osservare la loro capacità di preservare le dinamiche causali. Dall'osservazione dei risultati si deduce che NL risulta il metodo che riesce a preservare meglio le dinamiche causali delle serie temporali collagate al problema di classificazione, e che risulta anche il metodo che riesce a generalizzare meglio su dati sintetici analizzati. L'analisi dei risultati sui dataset reali mostra che non esiste un modello attualmente un modello superiore per la classificazione di serie temporali, suggerendo che l’efficacia del modello può dipendere dalle caratteristiche specifiche del dataset. In conclusione, questo studio evidenzia l'importanza della preservazione e comprensione delle dinamiche causali per migliorare le performance dei modelli di machine learning nella classificazione delle serie temporali e fornisce spunti significativi per ulteriori ricerche e ottimizzazioni in questo campo.