Analysis of nonlinear dynamics modelling capabilities of different classes of recurrent neural network

The modeling of nonlinear systems poses fundamental challenges to data- driven approaches. Recurrent Neural Networks (RNNs) have demonstrated strong capabilities in processing sequential data and capturing temporal dependencies. However, standard evaluation metrics such as prediction error or FIT index fail to capture whether a RNN model truly captures the physical and dynamical of a system, particularly when stability or chaos are involved. This work proposes a comprehensive framework for assessing the modeling capacity of different RNN architectures, including LSTMs, GRUs, Echo State Networks, and NNARX models , with a focus on three complementary criteria: predictive accuracy, structural stability (via Incremental Input-to-State Stability), and dynamical consistency (e.g., sensitivity to initial conditions and Lyapunov spectrum). By integrating tools from control theory and nonlinear dynamics into the RNN evaluation pipeline, the work examines whether a model faithfully reconstructs the system’s qualitative behavior. The contribution of this work is twofold: it advances methodological tools to diagnose stability or chaotic behaviors in RNNs, and it establishes a rigorous, interpretable procedure for validating learned models in safety-critical and physically grounded applications The proposed methods are tested on three representative case studies: the Lorenz attractor (displaying chaotic dynamics), a Water-Heating System (displaying stable dynamics) and a Cascaded-Tanks System (characterized by nonlinear with discontinuous dynamics). The results highlight key trade-offs between accuracy and stability, and reveal how training objectives, such as simulation vs prediction error minimization, influence the dynamical faithfulness of learned models.

La modellazione di sistemi non lineari pone sfide fondamentali agli approcci data-driven. Le Reti Neurali Ricorrenti (RNN) hanno dimostrato una notevole capacità nel trattare dati sequenziali e nel catturare le dipendenze temporali. Tuttavia, metriche di valutazione standard come l’errore di previsione o l’indice FIT non sono sufficienti per determinare se un modello RNN riesca davvero a rappresentare la struttura fisica e dinamica del sistema, specialmente quando sono coinvolti fenomeni di stabilità o caos. Questo lavoro propone un framework completo per valutare la capacità di modellazione di diverse architetture RNN, tra cui LSTM, GRU, Echo State Network e modelli NNARX, concentrandosi su tre criteri complementari: accuratezza predittiva, stabilità strutturale (tramite la stabilità Incrementale Ingresso-Stato) e coerenza dinamica (ad esempio, sensibilità alle condizioni iniziali e spettro di Lyapunov). Integrando strumenti della teoria del controllo e della dinamica non lineare nel processo di valutazione delle RNN, il lavoro indaga se un modello sia in grado di ricostruire fedelmente il comportamento qualitativo del sistema. Il contributo di questo studio è duplice: da un lato, sviluppa strumenti metodologici per diagnosticare la stabilità o la presenza di comportamenti caotici nelle RNN; dall’altro, definisce una procedura rigorosa e interpretabile per la validazione dei modelli appresi in applicazioni fisicamente fondate e critiche per la sicurezza. I metodi proposti vengono testati su tre casi studio rappresentativi: l’attrattore di Lorenz (caratterizzato da dinamiche caotiche), un sistema di riscaldamento dell’acqua (con dinamiche stabili) e un sistema a serbatoi in cascata (caratterizzato da dinamiche non lineari e discontinue). I risultati mettono in evidenza i principali compromessi tra accuratezza e stabilità, e mostrano come gli obiettivi di training, ad esempio la minimizzazione dell’errore di simulazione rispetto a quello di previsione, influenzino la capacità del modello di riprodurre fedelmente la dinamica del sistema.