A multi-fidelity approach to deep kernel learning of dynamical systems from high-dimensional data sources

In the framework of data-driven discovery of low dimensional dynamical systems, high-fidelity data can limit significantly the number of configurations considered and rapidly increase the computational cost. On the other hand, low-fidelity data is computationally less expensive and still useful to capture some qualitative features but fails to display the entirety of the details. The present work proposes a generalization of the Stochastic Variational Deep Kernel Learning method, to consider multiple sources of not labeled high dimensional data, at different levels of fidelity, and learn in an unsupervised data-driven way a low dimensional dynamical system. This dimensionality reduction leverages on the estimation of the intrinsic dimension of the system, to recover a possible configuration of state variables for the problem. The method is evaluated on a variety of cases, from the most simple motion of a pendulum to a more challenging PDE problem, all measured with high-dimensional RGB videos. In the pendulum environment, low-fidelity data can either be low-resolution images or partial reconstructions of the motion, while for the PDE problems we consider videos of numerical solutions on grids of different precision. Results show that the method can effectively replace a considerable amount of high-fidelity data with the less expensive counterpart, while drastically improving the efficiency in terms of data volume and training time and maintaining a comparable level of accuracy.

Nell'ambito della scoperta data-driven di sistemi dinamici a bassa dimensionalità, i dati ad alta fedeltà possono limitare significativamente il numero di configurazioni considerate e aumentare rapidamente il costo computazionale. D'altra parte, i dati a bassa fedeltà sono meno costosi dal punto di vista computazionale e comunque utili a rappresentare alcune caratteristiche qualitative, ma non riescono a catturare l'intera complessità del sistema. Questo lavoro propone una generalizzazione del metodo Stochastic Variational Deep Kernel Learning, per considerare più fonti di dati ad alta dimensionalità non etichettati, a diversi livelli di fedeltà, e apprendere tramite soli dati non etichettati un sistema dinamico a bassa dimensionalità. Questa riduzione della dimensionalità si appoggia sulla stima della dimensione intrinseca del sistema, per recuperare una possibile configurazione delle variabili di stato del problema. Il metodo è valutato su una serie di casi, dal più semplice moto di un pendolo a più impegnativo problemi di EDP, tutti misurati con video RGB ad alta dimensionalità. Nel caso del pendolo, i dati a bassa fedeltà possono essere immagini a bassa risoluzione o ricostruzioni parziali del moto, mentre per i problemi PDE si considerano video di soluzioni numeriche su griglie di diversa finezza. I risultati dimostrano che il metodo può sostituire efficacemente una notevole quantità di dati ad alta fedeltà con la controparte meno costosa, migliorando drasticamente l'efficienza in termini di volume di dati e di tempo di addestramento e mantenendo un livello di accuratezza comparabile.