Approximate Bayesian inference via normalizing flows and variational autoencoders for parameter estimation

The accurate estimation of physical parameters from observational data, commonly referred to as the inverse problem, is a fundamental challenge in computational science and engineering. While Bayesian inference provides a rigorous mathematical framework for characterizing parameter uncertainty, it is often limited by the prohibitive computational cost of evaluating high-fidelity physical simulators (e.g., FEM), which renders the exact likelihood function intractable. Building upon the foundational deep generative framework initially proposed by Bottacini, this thesis develops and validates an advanced, fully probabilistic Simulation-Based Inference (SBI) methodology to overcome this computational bottleneck. We leverage deep generative models to decouple the expensive simulator from the inference loop. Specifically, a Conditional Variational Autoencoder (CVAE) is employed for robust dimensionality reduction, compressing high dimensional observational time series into a structured latent space. Subsequently, a Real-valued Non-Volume Preserving (RealNVP) Normalizing Flow is trained to act as an exact, differentiable surrogate for the intractable likelihood function. Capitalizing on the analytical gradients provided by this surrogate, we systematically implement and compare three advanced Bayesian inference strategies: Hamiltonian Monte Carlo via the No-U-Turn Sampler (NUTS), Full-Rank Automatic Differentiation Variational Inference (ADVI), and Stein Variational Gradient De scent (SVGD). The proposed methodologies are validated on two elasto-dynamic benchmarks: an L-shaped cantilever beam and a railway bridge, using synthetic vibrational responses to estimate the location and severity of structural alterations. Our comparative analysis demonstrates that the particle-based SVGD algorithm successfully bridges the gap between asymptotic exactness and speed, achieving regression fidelity comparable to the NUTS benchmark while accelerating the inference process by over an order of magnitude. Furthermore, leveraging the computational budget saved by the variational approaches, we introduce a major architectural enhancement. By expanding the latent space and integrating Feature-wise Linear Modulation (FiLM) layers, the surrogate dynamically adapts to physical conditioning, improving predictive accuracy. Ultimately, this framework transitions parameter estimation from deterministic point predictions to comprehensive probabilistic characterizations. This shift provides the rigorous uncertainty quantification necessary for robust decision-making and the continuous management of complex physical systems.

La stima accurata di parametri fisici a partire da dati osservazionali, comunemente nota come problema in verso, rappresenta una sfida fondamentale nelle scienze computazionali e nell’ingegneria. Sebbene l’inferenza Bayesiana fornisca un rigoroso impianto matematico per la caratterizzazione dell’incertezza parametrica, la sua applicazione è spesso ostacolata dal costo computazionale proibitivo legato alla valutazione di simulatori fisici ad alta fedeltà (es. FEM), il che rende di fatto intrattabile la funzione esatta di verosimiglianza. Basandosi sul framework generativo profondo fondazionale originariamente proposto da Bottacini, questa tesi sviluppa e valida un’avanzata metodologia puramente probabilistica di Simulation-Based Inference (SBI) per superare tale limite computazionale. A tal fine, vengono impiegati modelli generativi profondi per disaccoppiare il simulatore, computazionalmente oneroso, dal ciclo di inferenza. Nello specifico, viene utilizzato un Conditional Variational Autoencoder (CVAE) per una robusta riduzione della dimensionalità, comprimendo serie tempo rali osservazionali ad alta dimensionalità in uno spazio latente strutturato. Successivamente, un Normalizing Flow di tipo Real-valued Non-Volume Preserving (RealNVP) viene addestrato per fungere da surrogato esatto e differenziabile della verosimiglianza intrattabile. Sfruttando i gradienti analitici forniti da tale modello sur rogato, sono state sistematicamente implementate e confrontate tre strategie avanzate di inferenza Bayesiana: l’Hamiltonian Monte Carlo tramite il No-U-Turn Sampler (NUTS), la Full-Rank Automatic Differentiation Variational Inference (ADVI) e lo Stein Variational Gradient Descent (SVGD). Le metodologie proposte sono state validate su due benchmark: una trave a forma di L e un ponte ferroviario, utilizzando risposte vibrazionali sintetiche per stimare la posizione e la severità di alterazioni strutturali. L’analisi comparativa dimostra che l’algoritmo particellare SVGD bilancia con successo l’esattezza asintotica e l’efficienza, ottenendo un’accuratezza di regressione paragonabile a quella del benchmark NUTS, ma accelerando il processo di inferenza di oltre un ordine di grandezza. Inoltre, sfruttando il budget computazionale risparmiato grazie agli approcci variazionali, è stata introdotta una significativa evoluzione architetturale. Ampliando lo spazio latente e integrando layer di Feature-wise Linear Modulation (FiLM), il modello surrogato si adatta dinamicamente al condizionamento fisico, migliorando la precisione dell’inferenza. In conclusione, il framework proposto eleva la stima dei parametri da semplici predizioni puntuali deterministiche a caratterizzazioni probabilistiche complete. Questo passaggio fornisce la rigorosa quantificazione dell’incertezza necessaria per supportare processi decisionali robusti e garantire la gestione continua e affidabile di sistemi fisici complessi.