Accelerating the numerical approximation of large-scale bayesian inverse problems through log-likelihood surrogates

This thesis investigates a surrogate-assisted Delayed Acceptance Markov Chain Monte Carlo (DA-MCMC) method for Bayesian inference in inverse problems, with applications in structural health monitoring (SHM) and groundwater flow modeling. Both fields face the challenge of estimating unknown parameters from noisy observations while contending with the high computational cost of complex forward models. DA-MCMC addresses this by introducing a two-level acceptance mechanism: a fast approximation of the posterior, obtained by surrogating the log-likelihood, is used to pre-screen samples before high-fidelity model evaluation. In the SHM case study, a neural network with 1D convolutional and fully connected layers is trained to approximate the log-likelihood. The model processes multichannel temporal signals and input parameters describing excitation and damage conditions. Convolutional layers extract features from structural responses, while dense layers learn complex interactions between them and physical parameters to predict the log-likelihood. This enables efficient damage localization in a concrete cantilever beam, achieving over 50% reduction in computational time compared to standard MCMC, without compromising posterior accuracy. In the groundwater flow case, the log-likelihood is approximated using two alternative surrogate models trained on synthetic data from a finite element solver: a sparse Gaussian process regression with automatic relevance determination kernels, trained via a variational approach with inducing points; and a neural network designed for scalable, data-driven inference. In both cases, the observations are compressed using principal component analysis to improve efficiency. The DA-MCMC framework enables accurate estimation of the Karhunen–Loève parameters defining the transmissivity field, while reducing computational cost by up to 30%. These results confirm the effectiveness of surrogate-based DA-MCMC in accelerating Bayesian inference while preserving accuracy, and highlight its potential as a scalable solution for complex engineering and environmental systems.

La presente tesi propone una metodologia basata su campionamento Markov Chain Monte Carlo ad Accettazione Ritardata (Delayed Acceptance, DA-MCMC) assistito da modelli surrogati, finalizzata all’inferenza bayesiana in problemi inversi caratterizzati da elevata complessità computazionale. L’approccio è applicato a due ambiti distinti: il monitoraggio dell’integrità strutturale (structural health monitoring, SHM) e la modellazione del flusso idrico sotterraneo. In entrambi i casi, l’obiettivo è stimare parametri incerti a partire da osservazioni rumorose, riducendo al contempo il costo computazionale associato alla valutazione di modelli diretti ad alta fedeltà. Il metodo DA-MCMC si articola su due livelli: una stima preliminare della distribuzione a posteriori, ottenuta tramite surrogazione della log-verosimiglianza, viene utilizzata per filtrare le proposte di campionamento, limitando l’impiego del modello completo alle sole istanze ritenute promettenti. Nel caso SHM, si impiega una rete neurale costituita da strati convoluzionali monodimensionali e densi, addestrata per approssimare la log-verosimiglianza a partire da segnali temporali multicanale e parametri descrittivi delle condizioni di carico e di danno. I blocchi convoluzionali estraggono rappresentazioni compatte delle risposte strutturali, mentre i livelli densi modellano interazioni non lineari tra tali caratteristiche e i parametri fisici. L’approccio consente una localizzazione efficiente del danno in una trave a sbalzo in calcestruzzo, con una riduzione del tempo computazionale superiore al 50% rispetto all’MCMC classico, senza compromettere la qualità dell’inferenza. Nel secondo caso studio, relativo al flusso idrico sotterraneo in un acquifero inomogeneo, la log-verosimiglianza viene approssimata mediante due modelli surrogati distinti, addestrati su dati sintetici generati da un risolutore agli elementi finiti: una regressione con processi Gaussiani sparsi, formulata in chiave variazionale mediante inducing points, e una rete neurale completamente connessa progettata per l’elaborazione efficiente di dataset di grandi dimensioni. In entrambe le applicazioni, le osservazioni vengono compresse mediante l’analisi delle componenti principali, così da ridurre la dimensionalità del problema e migliorarne l’efficienza numerica. Il framework DA-MCMC consente una stima accurata dei coefficienti della decomposizione di Karhunen–Loève associati al campo di trasmissività, riducendo il costo computazionale fino al 30%. I risultati ottenuti attestano l’efficacia del metodo DA-MCMC assistito da surrogati nel velocizzare l’inferenza bayesiana senza comprometterne l’accuratezza, evidenziandone il potenziale come strumento scalabile per l’analisi probabilistica in contesti ingegneristici e ambientali ad elevata complessità.