On latent dynamics learning in nonlinear reduced order modeling

In this work, we present the novel mathematical framework of latent dynamics models (LDMs) for reduced order modeling of parameterized nonlinear time-dependent PDEs. Our framework casts this latter task as a nonlinear dimensionality reduction problem, while constraining the latent state to evolve accordingly to an (unknown) dynamical system, namely a latent vector ordinary differential equation (ODE). A time-continuous setting is employed to derive error and stability estimates for the LDM approximation of the full order model (FOM) solution. We analyze the impact of using an explicit Runge-Kutta scheme in the time-discrete setting, and further explore the learnable setting, where deep neural networks approximate the discrete LDM components, while providing a bounded approximation error with respect to the FOM. Moreover, we extend the concept of parameterized Neural ODE - recently proposed as a possible way to build data-driven dynamical systems with varying input parameters - to be a convolutional architecture, where the input parameters information is injected by means of an affine modulation mechanism, while designing a convolutional autoencoder neural network able to retain spatial-coherence, thus enhancing interpretability at the latent level. Numerical experiments, including the Burgers' and the advection-reaction-diffusion equations, demonstrate the framework’s ability to obtain, in a multi-query context, a time-continuous approximation of the FOM solution, thus being able to query the LDM approximation at any given time instance while retaining a prescribed level of accuracy. Our findings highlight the remarkable potential of the proposed LDMs, representing a mathematically rigorous framework to enhance the accuracy and approximation capabilities of reduced order modeling for time-dependent parameterized PDEs.

Tale lavoro introduce il framework matematico dei latent dynamics models (LDM) (modelli a dinamica latente) per la riduzione d'ordine di equazioni alle derivate parziali (PDEs) nonlineari, caratterizzate da dipendenza temporale e parametrica. Il framework reinterpreta la riduzione della dimensionalità nonlineare in un contesto dinamico, vincolando lo stato latente a evolvere secondo un'equazione differenziale ordinaria (ODE). Il framework si sviluppa su tre livelli di approssimazione. In primo luogo viene adottata una formulazione continua in tempo, per la quale viene riportato un risultato di stabilità. Successivamente, il caso discreto viene studiato, analizzando l'utilizzo di schemi Runge-Kutta espliciti nella risoluzione numerica del problema latente. In un contesto di apprendimento automatico, in cui reti neurali approssimano le componenti del LDM discreto, viene dimostrato un risultato di approssimazione. In ambito Deep Learning, l'architettura Neural ODE parametrizzata è estesa al caso convoluzionale, in cui l'informazione dei parametri di input è gestita tramite un meccanismo di modulazione affine. Un'architettura convoluzionale in grado di mantenere coerenza spaziale è adottata per la costruzione dell'autoencoder, migliorando così l'interpretabilità a livello latente. Le capacità del framework di ottenere un'approssimazione continua in tempo, nel caso parametrizzato, sono testate su due problemi: (i) equazione di Burgers (nonlineare) monodimensionale, (ii) equazione di trasporto-reazione-diffusione bidimesionale, caratterizzata da una dipendenza parametrica nonaffine. I risultati evidenziano il notevole potenziale dei LDM nel garantire un livello di accuratezza predefinito per discretizzazioni temporali più fini rispetto a quella adottata nella fase di apprendimento offline, rappresentando quindi un framework rigoroso per la riduzione d'ordine in un contesto continuo in tempo.