Accelerating Convergence of Linear Iterative Solvers using Machine Learning

This thesis explores the application of Machine Learning techniques to accelerate iterative numerical methods, with a particular focus on the Generalized Minimal RESidual (GMRES) method, for solving arbitrary invertible linear systems. By training on the GMRES convergence behaviour obtained on previous linear systems in a sequence, the main goal of this work is to predict an adequate initial guess for each system of the sequence. This thesis is organized as follows: first, Machine Learning is applied to academic problems, such as the Laplace equation, where the right-hand side is modified at each iteration, and to the Advection-Diffusion problem with a time-dependent right-hand side. The matrix or operator does not change over the sequence. The model is trained using online learning techniques and the prediction of the initial guess results in a significant speed-up of the GMRES convergence on the considered linear systems. In the second part of the thesis, Neural Networks are applied to more complex and stiff systems, starting from the Navier-Stokes equations: the flow around a cylinder, the flow around a NACA0012 airfoil and the Taylor-Green Vortex test case are solved. The results of the classical GMRES algorithm are then compared to the ones of the Machine Learning scheme. The effectiveness of this approach is evaluated and compared to traditional methods, in terms of number of matrix-vector products to satisfy user parameters driving the stopping of the iterative solver. Considerations about gain in time taking into account the cost of the coupling and the sensitivity of certain parameters on the ML strategy performance are also addressed. Overall, this thesis demonstrates the potential of Machine Learning to improve the efficiency and accuracy of iterative numerical methods, particularly in the context of solving complex mathematical problems.

Questa tesi esplora l'applicazione delle tecniche di Machine Learning per accelerare i metodi numerici iterativi, con particolare attenzione al metodo del residuo minimo generalizzato, per la risoluzione di sistemi lineari arbitrariamente invertibili. L'obiettivo principale è quello di prevedere un'ipotesi iniziale adeguata all'algoritmo GMRES addestrando su precedenti sistemi lineari della sequenza. Questa tesi è organizzata come segue: in primo luogo, l'apprendimento automatico viene applicato a problemi semplici, come l'equazione di Laplace, in cui il lato destro viene modificato ad ogni iterazione per le stesse matrici, e al problema di Avvezione-Diffusione con un vettore lato destro dipendente dal tempo. Il modello viene addestrato utilizzando tecniche di apprendimento online mantenendo fissa la matrice o l'operatore. I risultati mostrano una significativa accelerazione nella convergenza. Nella seconda parte della tesi, le Reti Neurali vengono applicate a sistemi più complessi e rigidi, partendo dalle equazioni di Navier-Stokes: vengono risolti il flusso attorno ad un cilindro, il flusso attorno ad un profilo alare NACA0012 e il caso ddel vortice di Taylor-Green. I risultati del classico algoritmo GMRES vengono quindi confrontati con quelli dello schema di Machine Learning. L'efficacia di questo approccio viene valutata e confrontata con i metodi tradizionali, in termini di numero di prodotti matrice-vettore per raggiungere la convergenza del sistema lineare. Vengono inoltre affrontate considerazioni sul guadagno nel tempo con l'accoppiamento e la sensibilità di alcuni parametri sulle prestazioni dello schema ML. Nel complesso, questa tesi dimostra il potenziale del Machine Learning per migliorare l'efficienza e l'accuratezza dei metodi numerici iterativi, in particolare nel contesto della risoluzione di problemi matematici complessi.