Assessing the universality of neural network models to predict oscillatory time series

Artificial neural networks (ANN) are known to approximate a wide range of functions, making them suitable as general-purpose models. For that reason, ANNs can function as universal predictors able to forecast oscillatory time series of any kind. In this work, this universality is verified and quantified. Among the various alternative network structures, a feedforward neural network (FFNN) with recursive feedback of single-step predictions is the simplest possible choice. Hence, a general architecture for a FFNN predictor is proposed and validated on various systems including chaotic maps, chaotic ordinary differential equation (ODE) systems, and on biomedical data recordings such as electroencephalography (EEG) signals, and RR-interval series of electrocardiography (ECG) signals, for which the full attractor is reconstructed using delay coordinate embedding. The predictive capabilities are quantified by evaluating the averaged quality of the predictions in terms of the Lyapunov time (LT), i.e. the inverse of the largest Lyapunov exponent (LE), of each system's attractor, and the individual predictions against the local exponential rate of divergence. The resemblance of the dynamical system generated by the recursive predictor to the original system is determined with frequency analysis. The results are contrasted with the K nearest neighbours predictor which acts as a benchmark, since the quality of its predictions corresponds directly to the quality of the training data set. The main result is that predictions across the different systems are of similar quality, robustly predicting an average of 5 LT within a 10% error threshold. These predicted horizons outperform K nearest neighbours easily, especially for multi-dimensional attractors. Within the attractors, the predictor gives a good and robust performance. In contrast with the averaged analysis, scaling the predicted horizon with the local exponential rate of divergence does not show a uniform result within the attractor of a single system. Future work should further investigate the within-attractor variability of the prediction quality, and contrast our findings with more advanced network structures, including recurrent ANN trained to predict multiple steps ahead (sequence-to-sequence predictors).

Le reti neurali artificiali possono essere usate per costruire una grande quantità di funzioni, rendendole idonee come modelli di uso generale. Per tali caratteristiche, le reti fungono come predittori universali per serie temporali oscillatorie di qualsiasi tipo. Lo scopo di questo lavoro è di verificare e quantificare tale universalità. Tra le varie architetture neurali proposte in letteratura, le reti neurali feedforward (FFNN) sono quelle maggiormente utilizzate e computazionalmente meno costose. Il modo più immediato per adattarle ad un task dinamico come la modellazione di una serie temporale, è quello di identificare il predittore ad un passo, che verrà utilizzato ricorsivamente per effettuare una predizione a più passi. In questa tesi viene proposta un’architettura neurale la cui complessità è proporzionale a quella dell’oscillatore caotico da predire. Al fine di garantire una valenza generale all’esperimento condotto, sono stati selezionati oscillatori di diversa tipologia: mappe e sistemi di equazioni differenziali di ordine variabile, modelli analitici e campionamenti reali di segnali elettroencefalografici (EEG) e una serie di intervalli RR di un segnale elettrocardiografico (ECG). Nei casi di segnali reali campionati, il metodo del delay coordinate embedding è stato utilizzato al fine di ricostruire l’intero attrattore. Al fine di garantire un confronto equo tra i diversi attrattori, le capacità predittive sono state quantificate valutando la qualità media delle predizioni su un orizzonte temporale espresso in termini di tempi di Lyapunov (LT), ovvero l'inverso del più grande esponente di Lyapunov del sistema in esame. La situazione interna a ciascun attrattore è stata invece analizzata confrontando la qualità della predizione in una certa regione dello spazio delle fasi, con il tasso esponenziale locale di divergenza della stessa. È stata inoltre valutata la somiglianza in termini statistici tra ciascun sistema ed il relativo predittore ricorsivo effettuando un'analisi delle frequenze. Le performance dei predittori neurali sono state confrontate con il predittore K-nearest neighbours, solitamente utilizzato come benchmark, poiché la bontà della sua performance è strettamente legata a qualità e quantità del data set disponibile. I risultati mostrano che le performance ottenute per i diversi sistemi caotici sono di qualità simile: l’errore di predizione non supera mai il 10% entro 5 LT. Le reti neurali hanno inoltre un’accuratezza migliore rispetto al K-nearest neighbours, specialmente per gli attrattori multidimensionali, confermando quindi l’ipotesi fondante di questo lavoro. Al contrario, l’analisi interna a ciascun attrattore non ha permesso di ottenere risultati completamente soddisfacenti, poiché non è stato possibile individuare pattern significativi. Gli sviluppi futuri mireranno ad identificare e comprendere ulteriori pattern relativi alla qualità della predizione all'interno degli attrattori. Verranno inoltre confrontati i risultati ottenuti con le performance di reti neurali più avanzate, come quelle ricorrenti che per via della loro nautra dinamica, potrebbero dimostrarsi adatte alla predizione a molti passi in avanti.