Bayesian functional neural operator: uncertainty quantification of parametric PDEs

Scientific machine learning offers an alternative to classical numerical techniques for solving parametric partial differential equations (PDEs) through Neural Operators capable of learning mappings between functional spaces. These surrogate models guarantee dramatic gains in terms of computational cost, but present inevitable approximation errors that are difficult to estimate a priori. When their predictions are employed in high-risk decision-making procedures, it is therefore crucial to have reliable tools to quantify the uncertainty associated with predictions. However, state-of-the-art Neural Operator architectures present critical limitations that make uncertainty quantification methods prohibitive: high number of parameters and computational cost that scales unfavorably with mesh refinement. This work presents the Functional Neural Operator (FunNO), an architecture designed to combine high expressivity and computational lightness, enabling effective application of uncertainty quantification algorithms. FunNO uses 'functional layers' that extract meaningful coefficients from input functions through integral transformations, projecting them onto an optimal basis of the output space obtained through Proper Orthogonal Decomposition (POD) on the training dataset. This scheme places no constraints on domain regularity and guarantees linear computational cost with respect to number of nodes in the mesh. After verifying FunNO's performance on Darcy flow and linear elasticity problems (1.87% MRE with 5,584 parameters and 1.21% MRE with 2,625 parameters), we introduce its Bayesian version, B-FunNO, for epistemic uncertainty quantification through Stein Variational Gradient Descent (SVGD), a non-parametric method that approximates the posterior distribution through an ensemble of particles. The results demonstrate that B-FunNO enables both fast and reliable surrogate models (95.1% and 93.6% coverage on the test dataset), allowing for their deployment in real-time control scenarios, robust optimization, and high-risk scientific computing.

Il machine learning per il calcolo scientifico offre un'alternativa alle tecniche numeriche classiche per risolvere equazioni alle derivate parziali parametriche (EDP) tramite Neural Operators capaci di imparare mappature tra spazi funzionali. Questi modelli surrogati garantiscono un guadagno drastico in termini di costo computazionale, ma presentano inevitabili errori di approssimazione difficili da stimare a priori. Quando le loro previsioni vengono impiegate in procedure decisionali ad alto rischio, è quindi cruciale disporre di strumenti affidabili per quantificare l'incertezza associata alle predizioni. Tuttavia, le architetture stato dell'arte dei Neural Operator presentano limitazioni critiche che rendono i metodi di quantificazione dell'incertezza proibitivi: elevato numero di parametri e costo computazionale che scala sfavorevolmente con la finezza della mesh. Questo lavoro presenta il Functional Neural Operator (FunNO), un'architettura progettata per coniugare elevata espressività e leggerezza computazionale, consentendo un'applicazione efficace di algoritmi di quantificazione dell'incertezza. FunNO utilizza "layer funzionali" che estraggono coefficienti significativi dalle funzioni in input tramite trasformazioni integrali, proiettandoli su una base ottimale dello spazio di output ottenuta tramite Decomposizione Ortogonale Propria (DOP) sul train dataset. Questo schema non pone vincoli sulla regolarità del dominio e garantisce costo computazionale lineare rispetto alla finezza della mesh. Verificate le prestazioni di FunNO su problemi di flusso di Darcy e elasticità lineare (1.87% MRE con 5.584 parametri e 1.21% MRE con 2.625 parametri), introduciamo la sua versione bayesiana, B-FunNO, per la quantificazione dell'incertezza epistemica tramite Stein Variational Gradient Descent (SVGD), un metodo non parametrico che approssima la distribuzione a posteriori attraverso un insieme di particelle. I risultati dimostrano che B-FunNO consente di ottenere modelli surrogati sia veloci sia affidabili (copertura del 95,1% e 93,6% sul test dataset), aprendo la strada al loro impiego in scenari di controllo in tempo reale, ottimizzazione robusta e calcolo scientifico ad alto rischio.