Evolutional deep neural networks for partial differential equations

Partial Differential Equations (PDEs), represent a fundamental aspect of physical modeling and modeling in general. Many problems, ranging from the diffusion of heat in a room, to the variation in prices in the stock market have been modeled as PDE problems. The downside of those types of problems, however, is that they become really complex really fast, thus, we can rarely expect a solution in closed form to exist. A big discussion on how to reliably, accurately and efficiently obtain a solution for those problems has been, in the last decades (and still is), under the spotlight. Many different methods (such as the Finite Element Method (FEM), Spectral Method, Finite Volumes Method, and many others) have been proposed, developed and exploited. While those methods have shown to be reliable and fast in a wide range of problems, they still present many limitations. Because of the recent bloom of scientific machine learning in literature recently, many neural network based methods have been proposed and discussed. Some of those methods have demonstrated to overperform "classical" approaches in terms of efficiency and accuracy for some problems. In this thesis, we will discuss the Evolutional Deep Neural Network (EDNN) method, a machine learning based method for solving PDEs. The objective of this thesis is to provide a comprehensive analysis of the strengths and drawbacks of EDNN compared to other methodologies in both machine learning and traditional contexts. Ultimately, our goal is to tackle key challenges inherent to EDNN, with a particular focus on improving the imposition of boundary conditions and computational efficiency. To achieve this, we propose two new strategies. Initially, we will explore a new way for applying boundary conditions, broadening the spectrum of constraints and geometries that the EDNN can handle. Subsequently, we will discuss a modified version of the EDNN, incorporating pseudospectral techniques, aimed at decreasing the computational cost.

Le equazioni alle derivate parziali (EDP) rappresentano un aspetto fondamentale della modellazione fisica e della modellazione in generale. Molti problemi, dalla diffusione del calore in una stanza alla variazione dei prezzi nel mercato azionario, sono stati affrontati con l'aiuto di EDP. L'aspetto negativo di questo tipo di problemi, tuttavia, è che diventano molto complessi, molto velocemente, per cui raramente ci si può aspettare che esista una soluzione in forma chiusa. Negli ultimi decenni (e tuttora) si è discusso molto su come ottenere una soluzione affidabile, accurata ed efficiente per questi problemi. Sono stati proposti, sviluppati e sfruttati molti metodi diversi (come il Metodo degli elementi finiti (FEM), il Metodo spettrale, il Metodo dei volumi finiti e molti altri). Sebbene questi metodi abbiano dimostrato di essere affidabili e veloci in un'ampia gamma di problemi, presentano ancora molte limitazioni. Grazie alla recente esplosione dello scientific machine learning nella recente letteratura, sono stati proposti e discussi diversi metodi basati sulle reti neurali. Alcuni di questi hanno dimostrato di superare gli approcci tradizionali in termini di efficienza e accuratezza in alcune circostanze. In questa tesi, discuteremo Evolutional Deep Neural Network (EDNN), un metodo basato sul deep learning, per la risoluzione di PDE. L'obiettivo di questa tesi è fornire un'analisi completa dei punti di forza e degli svantaggi di EDNN rispetto ad altre metodologie, sia in contesti di machine learning che tradizionali. In definitiva, il nostro obiettivo è quello di affrontare le sfide chiave inerenti a EDNN, con particolare attenzione al miglioramento dell'imposizione delle condizioni al contorno e dell'efficienza computazionale. Per raggiungere questo obiettivo, proponiamo due nuove strategie. Inizialmente, esploreremo un nuovo modo di applicare le condizioni al contorno, ampliando la gamma di vincoli e geometrie per cui EDNN può dare una soluzione. Successivamente, discuteremo una versione modificata di EDNN, che incorpora l'utilizzo di metodi pseudospettrali, con l'obiettivo di ridurre il costo computazionale.