On the time extrapolation capability of 2nd-order latent dynamics networks

Mathematical models based on differential equations, such as Partial Differential Equations (PDEs), play a crucial role in modeling and predicting complex physical systems. However, their numerical approximation can be computationally demanding, particularly in many-query problems and real-time applications. Recent advancements in scientific machine learning have enabled the development of data-driven reduced-order models that learn the underlying dynamics from high-fidelity simulations, significantly reducing computational costs while maintaining accuracy. In this work, we propose 2nd-Order Latent Dynamics Networks (2nd-Order LDNets), an extension of Latent Dynamics Networks (LDNets), proposed by Regazzoni et al.(2024), that introduces a second-order latent dynamics formulation inspired by multi-degree-of-freedom mechanical systems. Unlike LDNets, which rely on a first-order latent state evolution, 2nd-Order LDNets incorporate second-order differential equations with trainable damping and stiffness matrices designed to be symmetric, strictly diagonally dominant, and positive definite, ensuring improved stability, generalization, and time extrapolation capabilities in non-Markovian systems. This formulation ensures a more structured latent space representation, preserving critical dynamical properties of the system and establishing a stronger correlation between equivalent distances in the latent and full-order spaces. The demonstration of the Input-to-State Stability (ISS) property for the proposed second-order latent dynamics through a candidate Lyapunov function, guarantees that latent state trajectories remain bounded and robust to perturbations, even when the system is evaluated outside the training distribution. Additionally, we introduce a distance-preserving penalization term in the loss function, designed to enhance the model’s time extrapolation capability, particularly in scenarios where the observable data are still far from the attractor of the dynamical system and exhibit diverging behavior. We validate the proposed model through extensive numerical analysis on benchmark problems, including the 2D lid-driven cavity flow, the 2D flow past a circular cylinder, and a reentrant electrophysiology model. Our results demonstrate that 2nd-Order LDNets achieve superior predictive accuracy compared to LDNets, particularly in time-extrapolation scenarios where standard latent dynamics exhibit instability and loss of accuracy. The proposed method provides an efficient and scalable framework for learning reduced-order models of complex spatio-temporal systems, with potential applications in fluid dynamics, biomechanics, and computational physics.

I modelli matematici basati su equazioni differenziali, come le equazioni differenziali alle derivate parziali (PDE), svolgono un ruolo cruciale nella modellizzazione e nella previsione di sistemi fisici complessi. Tuttavia, la loro approssimazione numerica può risultare computazionalmente onerosa, soprattutto nei problemi multi-query e nelle applicazioni in tempo reale. I recenti progressi nell’apprendimento automatico scientifico hanno permesso lo sviluppo di modelli ridotti basati sui dati, capaci di apprendere le dinamiche sottostanti da simulazioni ad alta fedeltà, riducendo significativamente i costi computazionali pur mantenendo un'elevata accuratezza. In questo lavoro, proponiamo le 2nd-Order Latent Dynamics Networks (2nd-Order LDNets), un'estensione delle Latent Dynamics Networks (LDNets), proposta da Regazzoni et al. (2024), che introduce una formulazione delle dinamiche latenti di secondo ordine, ispirata ai sistemi meccanici a più gradi di libertà. A differenza delle LDNets, che si basano su un’evoluzione dello stato latente di primo ordine, le 2nd-Order LDNets incorporano equazioni differenziali del secondo ordine con matrici di smorzamento e di rigidezza addestrabili, progettate per essere simmetriche, strettamente diagonalmente dominate e definite positive, garantendo una maggiore stabilità, capacità di generalizzazione ed extrapolazione temporale nei sistemi non markoviani. Questa formulazione consente una rappresentazione più strutturata dello spazio latente, preservando proprietà dinamiche fondamentali del sistema e stabilendo una correlazione più forte tra le distanze equivalenti nello spazio latente e nello spazio ad ordine completo. La dimostrazione della proprietà di Input-to-State Stability (ISS) per la dinamica latente di secondo ordine proposta, attraverso una funzione candidata di Lyapunov, garantisce che le traiettorie dello stato latente rimangano limitate e robuste alle perturbazioni, anche quando il sistema viene valutato al di fuori della distribuzione di addestramento. Inoltre, introduciamo un termine di penalizzazione sulla distanza nella funzione di perdita, progettato per migliorare la capacità di extrapolazione temporale del modello, in particolare in scenari in cui i dati osservabili sono ancora lontani dall’attrattore del sistema dinamico e mostrano un comportamento divergente. Validiamo il modello proposto attraverso un’analisi numerica estensiva su problemi di riferimento, tra cui il flusso nella cavità driven 2D, il flusso 2D attorno a un cilindro circolare e un modello di elettrofisiologia reentrante. I nostri risultati dimostrano che le 2nd-Order LDNets raggiungono una superiore accuratezza predittiva rispetto alle LDNets, in particolare negli scenari di estrapolazione temporale, in cui le dinamiche latenti standard presentano instabilità e perdita di accuratezza. Il metodo proposto fornisce un framework efficiente e scalabile per l’apprendimento di modelli ridotti di sistemi spaziotemporali complessi, con potenziali applicazioni in fluidodinamica, biomeccanica e fisica computazionale.