Enhancing numerical methods through deep learning

Deep learning has rapidly emerged as a powerful tool across various applied science and engineering domains. This thesis explores the field of scientific machine learning (SciML) which stands at the intersection between deep learning and numerical methods, focusing on enhancing the efficiency of numerical algorithms through innovative developments and applications of deep learning. The thesis addresses three novel developments in the field of scientific machine learning, all designed to improve the efficiency of numerical methods while enhancing their stability and reducing computational complexity. In the first part of this thesis, we propose a deep learning-based algorithm to optimize the efficiency of Algebraic Multigrid (AMG) methods, a state-of-the-art solver for large linear systems stemming from the discretization of partial differential equations (PDEs). By leveraging convolutional neural networks (CNNs) to tune the threshold parameter that defines the hierarchy of grids that stands at the basis of the AMG methods, we achieve significant reductions in computational time without requiring intrusive modifications to existing numerical solvers. The algorithm is tested on a wide variety of PDEs and discretizations, demonstrating robustness across different physics and on both structured and unstructured grids. The second part of the thesis addresses the challenge of handling oscillations in the numerical discretization of hyperbolic PDEs with high-order methods. Indeed, near discontinuities, high-order solvers face challenges due to the Gibbs phenomenon. We introduce a novel artificial viscosity model, trained using a hybrid learning approach that combines reinforcement learning with physics-informed machine learning. This method dynamically adjusts the viscosity in response to solution irregularities, thereby preserving stability and accuracy without the need for problem-specific parameter tuning. The approach is validated on a range of hyperbolic PDEs -- including Burger's and Euler's equations -- showcasing its ability to accurately detect spurious oscillations and tune suitable artificial viscosity while maintaining physical consistency. Finally, we tackle the issue of stiffness in reduced-order models (ROMs) using neural ordinary differential equations (ODEs). Stiffness, characterized by rapid changes in certain solution components, poses significant numerical challenges because it requires prohibitively small time steps for explicit solvers. Our approach employs a time-reparameterization technique, driven by a data-informed mapping, to automatically reduce the stiffness of the problem. This enables the use of explicit solvers, thereby enhancing the efficiency and stability of the neural ODE architecture. We validate our method through extensive experiments on relevant problems used in the literature to benchmark stiff solvers.

Il deep learning si è rapidamente affermato come un potente strumento in diversi settori delle scienze applicate e dell'ingegneria. Questa tesi esplora il campo del machine learning scientifico (SciML), che si colloca all'intersezione tra il deep learning e i metodi numerici, con l'obiettivo di migliorare l'efficienza degli algoritmi numerici utilizzando il deep learning. La tesi presenta tre contributi originali nel campo del machine learning scientifico, tutti orientati a migliorare l'efficienza dei metodi numerici, aumentando la stabilità e riducendo la complessità computazionale. Nella prima parte della tesi, proponiamo un algoritmo basato sul deep learning per ottimizzare l'efficienza del multigrid algebrico, un solutore per grandi sistemi lineari derivanti dalla discretizzazione delle equazioni alle derivate parziali (EDP). Mostriamo che è possibile utilizzare reti neurali convoluzionali per regolare il parametro di soglia che definisce la gerarchia delle griglie alla base dei metodi AMG. Il nostro algoritmo riduce signicativamente i tempi di calcolo senza richiedere modifiche invasive ai solutori numerici esistenti. L'algoritmo è stato testato su una vasta gamma di EDP e discretizzazioni, dimostrando robustezza in diverse condizioni fisiche, sia su griglie strutturate che non strutturate. La seconda parte della tesi affronta la riduzione di oscillazioni spurie nella discretizzazione numerica delle EDP iperboliche con metodi ad alto ordine. Vicino alle discontinuità, i solutori ad alto ordine incontrano difficoltà a causa del fenomeno di Gibbs. Proponiamo un nuovo modello di viscosità artificiale, addestrato attraverso un approccio di apprendimento ibrido che combina reinforcement learning e differenziazione automatica. Questo metodo regola la viscosità in risposta alle irregolarità della soluzione, preservando stabilità e accuratezza senza richiedere una calibrazione specifica per ogni problema. L'approccio è validato su una serie di EDP iperboliche, tra cui le equazioni di Burger e di Eulero, dimostrando la capacità di rilevare accuratamente le oscillazioni spurie e regolare la viscosità artificiale, mantenendo al contempo la coerenza fisica. Infine, affrontiamo il problema della rigidità nei modelli a ordine ridotto di sistemi di equazioni differenziali ordinarie. La rigidità, caratterizzata da variazioni rapide in alcune componenti della soluzione, rappresenta una sfida significativa in campo numerico, poiché richiede passi temporali estremamente piccoli per i solutori espliciti. Viene proposta una tecnica di parametrizzazione temporale per ridurre automaticamente la rigidità del problema. Questo consente l'uso di solutori espliciti, migliorando così l'efficienza e la stabilità del modello ridotto. Questo approccio è stato validato attraverso numerosi esperimenti su problemi standard utilizzati in letteratura per confrontare solutori per problemi rigidi.