A neural network stabilization method for advection-dominated differential problems

Numerical simulations of advection-diffusion equations using the Galerkin Finite Element (FE) method suffer from instability issues in advection-dominated regimes. Stabilization strategies are commonly implemented to counter these issues. This thesis presents an innovative stabilization approach that combines the Variational Multiscale framework with a data-driven model to capture subgrid-scale dynamics. The fine-scale model is represented by an artificial neural network, optimised using hybrid training and a-posteriori training. In the hybrid approach, the FE solver is used only to generate the training dataset, and then we optimize the network to minimize the error between the stabilized coarse solution and a fine-grid reference solution. The a-posteriori approach, instead, formulates the training of the parameters as an optimal control problem, updating weights iteratively by solving the differential state and adjoint problems at each step. The disadvantage of this approach is that it requires to call the FE solver at each iteration. Both strategies effectively stabilize solutions seen in the training phase, with greater accuracy than the classical SUPG method. The hybrid approach, however, showed limited generalization beyond the training cases and did not consistently satisfy boundary conditions, as these were not strongly enforced. Conversely, the a-posteriori approach stabilizes simulations robustly, providing smooth solutions with good generalization capabilities, even when trained on a minimal dataset. This method outperforms the SUPG method, showing reliable stabilization across diverse scenarios and yielding positive results on more complex geometries, varying FE degrees, and mesh refinements. We show that the a-posteriori approach is a promising approach for training neural networks to model fine-scale solutions in numerical simulations, enhancing both accuracy and computational efficiency.

Le simulazioni numeriche delle equazioni di diffusione-trasporto mediante il metodo degli Elementi Finiti (FE) di Galerkin sono affette da instabilità in regimi dominati dal trasporto. Per contrastare questi problemi, vengono comunemente implementate strategie di stabilizzazione. Questa tesi propone un approccio innovativo che combina il framework Variazionale Multiscala con un modello data-driven per rappresentare la soluzione delle scale fini. Il modello per le scale fini è rappresentato da una rete neurale artificiale, allenata attraverso due strategie: allenamento ibrido e allenamento a-posteriori. La strategia ibrida utilizza il risolutore FE solo per generare il dataset, successivamente la rete verrà ottimizzata per minimizzare l’errore tra la soluzione stabilizzata e una soluzione di riferimento calcolata su una griglia fine. La strategia a-posteriori, invece, formula l’allenamento dei parametri come un problema di controllo ottimo, aggiornando i pesi iterativamente risolvendo il problema di stato e quello aggiunto ad ogni passo, richiedendo tuttavia il risolutore FE a ogni iterazione. Entrambe le strategie stabilizzano le soluzioni viste in fase di allenamento, con una precisione maggiore rispetto al metodo SUPG classico. Tuttavia, la strategia ibrida ha mostrato una limitata capacità di generalizzare oltre i casi di allenamento e non ha sempre soddisfatto le condizioni al contorno, poiché non erano imposte esplicitamente. Al contrario, la strategia a-posteriori stabilizza in modo robusto le simulazioni, garantendo soluzioni regolari e una buona capacità di generalizzazione anche quando addestrata su un dataset minimo. Questo approccio ha superato il metodo SUPG classico, mostrandosi affidabile in scenari diversi e dando risultati positivi anche su geometrie più complesse, diversi gradi di elementi finiti e griglie. Abbiamo mostrato che l’approccio a-posteriori è promettente per l’allenamento delle reti neurali nel modellare la soluzione fine nelle simulazioni numeriche, migliorando la precisione e l’efficienza computazionale.