Forecasting chaotic time series with recurrent neural networks : classical backpropagation vs reservoir computing

Many dynamics occurring in the real world are led by nonlinear processes and frequently exhibit chaotic behaviors. The forecasting of the future evolution of a chaotic system is complex due to the well-known exponential growth of the error. Quantifying how far into the future these systems can be predicted is an open problem in machine learning and chaos theory. In this work, I compare the multi-step forecasting performances of two types of Recurrent Neural Networks (RNNs) on artificial, noise-free data generated by the chaotic Lorenz system attractor. In particular, I consider Elman RNNs and Echo State Networks (ESNs). These models have the same architecture but differ in the training approach. In Elman RNNs, all the weights are trained with the backpropagation through time, an extension of the standard backpropagation specific for recurrent architectures. ESNs follow the framework of Reservoir Computing (RC): the weights of the input and the internal connections are sampled at random and only those going to the output are trained. The advantage of RC is that it allows to reframe the training as a linear regression, which can be easily solved in a closed-form with the least-squares algorithms. The results show that the ESN provides a greater forecasting accuracy than Elman RNNs. ESNs have to be trained to be compliant with the echo state property (ESP) to ensure the asymptotic uniqueness of the reservoir’s dynamics and its independence from initial conditions. However, it is common to find the erroneous identification of the ESP with a spectral radius (of the internal weights’ matrix) below one. This work shows that the optimal value of the spectral radius is task-specific. For the numerical setting considered, values greater than one allows to build more accurate predictors. As of last, I discuss the sensitivity of the predictive accuracy to the discretization step used in the numerical integration. This issue, neglected in most of the works in the literature, turned out to be critical. My results demonstrate that the predictive accuracy drops for too low or high time steps.

La maggior parte delle dinamiche reali derivano da processi non lineari e, spesso, mostrano comportamenti caotici. Prevedere l’evoluzione futura di un sistema caotico è complicato per via del fatto che gli errori, in questi sistemi, crescono in maniera esponenziale. Riuscire a quantificare precisamente per quanto tempo questi sistemi siano predicibili rimane un problema aperto a cavallo tra apprendimento automatico e la teoria del caos. In questo lavoro, si confrontano le capacità predittive di due diverse reti neurali ricorrenti (RNNs) utilizzando una serie di dati generata a partire dall’attrattore di Lorenz. In particolare, sono state considerate le Elman RNNs e le Echo State networks (ESNs). Questi due modelli hanno esattamente la stessa architettura, ma vengono allenati seguendo due approcci differenti. I pesi delle Elman RNNs sono allenati grazie ad un algoritmo noto col nome di backpropagation through time, una versione estesa della backpropagation standard sviluppato appositamente per le architetture ricorrenti. Le ESNs seguono la tecnica del Reservoir Computing (RC). Esso prevede che i pesi relativi agli input e alle connessioni interne siano estratti casualmente e che solo quelli di output vengano allenati. Il vantaggio del RC è che permette di organizzare il problema di allenamento come una regressione lineare, che può essere facilmente risolto in forma chiusa con l’algoritmo dei minimi quadrati. I risultati di questo lavoro mostrano che le ESNs hanno una migliore precisione nella predizione rispetto alle Elman RNNs. Le ESNs devono essere allenate tenendo in considerazione il rispetto della Echo State Property (ESP), che garantisce una dinamica asintotica ben definita e l’indipendenza dalle condizioni iniziali. Spesso, si pensa erroneamente che la ESP sia garantita solo in corrispondenza di valori di raggio spettrale (della matrice delle connessioni interne della ESN) minori di uno. Questo lavoro mostra che il valore ottimo del raggio spettrale è strettamente legato al problema considerato. Con il setting sperimentale considerato, valori superiori ad uno permettono di ottenere predittori più accurati. Per ultimo, viene analizzata la sensitività dell’accuratezza predittiva rispetto al passo di discretizzazione utilizzato per l’integrazione numerica. Questo problema, solitamente non considerato nella maggior parte dei lavori presenti in letteratura, si è rivelato essere critico. I risultati ottenuti mostrano che le performance nella predizione calano sensibilmente per valori troppo bassi o troppo elevati del passo temporale.