Machine learning strategies to enhance Krylov iterative solvers for CFD simulations

This thesis aims to accelerate Krylov iterative solvers for Computational Fluid Dynamics (CFD) problems thanks to a supervised Machine Learning (ML) approach. The linear systems solver considered is the Generalized Minimal RESidual (GMRES), where the initial guess is the parameter we aim to enhance for better algorithm performance. In the first part, we will introduce the method and delve deeper into some numerical considerations about the initial guess, in terms of asymptotic order of convergence and number of iterations concerning the distance from the exact solution. Then, in the second part, we will present the ML workflow, focusing on the Deep Learning architecture, and we will show how to optimize it to be adaptable to the CFD test-cases. Particular attention is also paid to the sensitivity of some PyTorch optimization techniques on the performance of the workflow to leverage training and inference costs. The last part presents some numerical results and those obtained on the first representative test-cases show quite promising gains regarding matrix-vector products (MVP). Then, the high-performance tools are applied on a new test-case and different configurations have been tested in the numerical benchmarks. Overall, these results underscore the potential of Machine Learning in enhancing Krylov subspace methods, demonstrating how data-driven initial guesses can significantly improve the performances and the efficiency of GMRES in CFD applications.

Questa tesi si propone di accelerare i solutori iterativi di Krylov per problemi di fluidodinamica computazionale (CFD) grazie a un approccio di Machine Learning (ML) supervisionato. Il risolutore di sistemi lineari considerato è il Generalized Minimal RESidual (GMRES), dove l’ipotesi iniziale è il parametro che vogliamo migliorare per migliorare le prestazioni dell’algoritmo. Nella prima parte, introdurremo il metodo e approfondiremo alcune consid- erazioni numeriche sull’ipotesi iniziale, in termini di ordine asintotico di convergenza e numero di iterazioni relative alla distanza dalla soluzione esatta. Poi, nella seconda parte, presenteremo il flusso di lavoro ML, concentrandoci sull’architettura Deep Learning, e mostreremo come ottimizzarlo per adattarlo ai casi di prova CFD. Parti- colare attenzione è rivolta anche alla sensibilità di alcune tecniche di ottimizzazione di PyTorch sulle prestazioni del flusso di lavoro, per far leva sui costi di addestramento e inferenza. L’ultima parte presenta alcuni risultati numerici e quelli ottenuti sui primi casi di prova rappresentativi mostrano guadagni piuttosto promettenti per quanto riguarda prodotti matrice-vettore (MVP). In seguito, gli strumenti ad alte prestazioni sono stati applicati a un nuovo caso di prova e diverse configurazioni sono state testate nei benchmark numerici. Nel complesso, questi risultati sottolineano il potenziale del Machine Learning nel potenzi- amento dei metodi dei sottospazi di Krylov, dimostrando come le ipotesi iniziali guidate dai dati possano migliorare significativamente le prestazioni e l’efficienza di GMRES nelle applicazioni CFD.