Multi-fidelity transformers for simulations and uncertainty quantification of physical systems

Highly accurate datasets from numerical or physical experiments are often expensive and time-consuming to acquire, posing a significant challenge for applications that require precise evaluations, potentially across multiple scenarios and in real-time. Even building accurate surrogate models can be extremely challenging with a limited amount of high-fidelity (HF) data. Conversely, less accurate low-fidelity (LF) data can be computed more effortlessly and encompass a broader range of scenarios. Multi-fidelity surrogate modeling aims to leverage information from data of different fidelity to improve the prediction capabilities of surrogate models, providing an excellent balance between efficiency and accuracy. The goal of this thesis is to introduce a new non-intrusive Multi-Fidelity Reduced-Order Modeling (MF-ROM) framework designed to correct LF simulations in a reduced latent space, leveraging the predictive power of Transformer architectures. The key idea is to use the limited collection of high-fidelity data to identify a lower-dimensional manifold using either Proper Orthogonal Decomposition (POD) or Convolutional Autoencoders (CAE). By mapping the encoded LF input to its HF counterpart in the latent space, the model recovers the full accurate solution in a fraction of the original computational time. A comparative analysis is conducted between the proposed Transformer-based model and state-of-the-art LSTM-based method on a reaction-diffusion benchmark system. Our proposed method showcases superior ability in generalizing temporal dynamics in regions where HF data were absent during training, across different spatial reduction techniques. Subsequently, the framework is successfully applied to approximate complex wildfire expansion dynamics. On this application, an Uncertainty Quantification (UQ) analysis is performed using a Monte Carlo approach. To further accelerate the process, the CAE is extended to a Variational (ConvVAE) formulation, enabling real-time stochastic sampling. The integration of the proposed MF models provides a robust decision support tool delivering realistic estimates for critical quantities of interest, such as the fire's time of arrival in a particular location and burned area expansion.

I dataset altamente accurati provenienti da esperimenti numerici o fisici sono spesso costosi e richiedono molto tempo per essere acquisiti, rappresentando una sfida significativa per le applicazioni che richiedono valutazioni precise, potenzialmente in più scenari e in tempo reale. Anche la creazione di modelli surrogati accurati può essere estremamente difficile con una quantità limitata di dati ad alta fedeltà (HF). Al contrario, i dati a bassa fedeltà (LF), meno accurati, possono essere calcolati più facilmente e coprire una gamma più ampia di scenari. La modellazione surrogata multi-fedeltà mira a sfruttare le informazioni provenienti da dati di diversa fedeltà per migliorare le capacità di previsione dei modelli surrogati, fornendo un eccellente equilibrio tra efficienza e accuratezza. L'obiettivo di questa tesi è quello di introdurre un nuovo framework non intrusivo di modellazione a ordine ridotto multi-fedeltà (MF-ROM) progettato per correggere le simulazioni LF in uno spazio latente ridotto, sfruttando la capacità predittiva delle architetture Transformer. L'idea chiave è quella di utilizzare la raccolta limitata di dati ad alta fedeltà per identificare una varietà a dimensione inferiore utilizzando la decomposizione ortogonale propria (POD) o gli autoencoder convoluzionali (CAE). Mappando l'input LF codificato alla sua controparte HF nello spazio latente, il modello recupera la soluzione completa e accurata in una frazione del tempo di calcolo originale. Viene condotta un'analisi comparativa tra il modello basato su Transformer proposto e il metodo all'avanguardia basato su LSTM su un sistema di benchmark di reazione-diffusione. Il metodo da noi proposto dimostra una capacità superiore nel generalizzare le dinamiche temporali in regioni in cui i dati HF erano assenti durante l'addestramento, attraverso diverse tecniche di riduzione spaziale. Successivamente, il framework viene applicato con successo per approssimare le complesse dinamiche di espansione degli incendi boschivi. Su questa applicazione, viene eseguita un'analisi di quantificazione dell'incertezza (UQ) utilizzando un approccio Monte Carlo. Per accelerare ulteriormente il processo, il CAE viene esteso a una formulazione variazionale (ConvVAE), consentendo il campionamento stocastico in tempo reale. L'integrazione dei modelli MF proposti fornisce un solido strumento di supporto decisionale che fornisce stime realistiche per quantità critiche di interesse, come il tempo di arrivo dell'incendio in una particolare località e l'espansione dell'area bruciata.