Physics-informed machine learning methods for reduced order modeling

The need for a fast and accurate solution of parameterized Partial Differential Equations (PDEs) traditionally translates into the development of linear Reduced Order Models (ROMs). These data-driven approaches, such as the Proper Orthogonal Decomposition (POD), are nowadays widespread and embedded in the most famous linear-algebra libraries of any scientific programming language. While their accuracy is in general satisfactory when dealing with linear and steady parameterized PDEs, both their performances and dimensionality reduction capabilities decay in the case of time-dependent and possibly non-linear problems. To mitigate this issue, novel approaches have been devised in the Deep Learning context. In this work, two completely different strategies are presented. The first one consists of the computation of the parameterized solution in one step by means of Physics Informed Neural Networks (PINNs), which are trained to minimize the PDE residual while satisfying the boundary and initial conditions, for any instance of the parameter inside its domain. The main advantage of this strategy, named PINNs-FOM, compared with traditional PDE solvers lies in the fact that they are completely mesh-free algorithms. On the other hand, compared to classical ROMs, PINNs are of particular interest because they do not require the generation of high-fidelity solutions, called snapshots, via computationally expensive Full Order Models (FOMs) solvers. The second idea consists of the development of a convolutional-autoencoder based non-linear ROM. Despite this approach, named PDNNs-Autoencoder (Projection Driven Neural Network-Autoencoder) still relies on the projection of costly snapshots on a lower dimensional manifold, the feature extractor capabilities of the autoencoder are superior to the linear ROM ones, leading to an improvement in accuracy, especially in the above mentioned cases in which linear ROMs are less effective. The accuracy and efficiency of these two strategies will be assessed on 4 different parameterized PDEs test problems. The results will be compared with linear ROM based approaches, which in turn rely on Artificial Neural Networks too for the fast online prediction of the solution.

La necessità di calcolare in maniera rapida e accurata la soluzione di equazioni alle derivate parziali (PDEs) parametrizzate si traduce tradizionalmente nello sviluppo di modelli di ordine ridotto di natura lineare. Questi approcci data-driven, come la Proper Orthogonal Decomposition (POD), sono oggigiorno diffusi e già implementati all'interno delle più famose librerie di algebra lineare per qualsiasi linguaggio di programmazione scientifico. Mentre il grado di accuratezza che in genere essi raggiungono quando applicati a PDEs di tipo lineare e stazionario è soddisfacente, sia le loro prestazioni che la loro capacità di ridurre la dimensionalità del problema calano una volta che lo stesso sia instazionario o eventualmente non lineare. Per rispondere all'insorgere di questa problematica, nel campo del Deep Learning sono stati recentemente sviluppati nuovi approcci. Nel presente lavoro vengono presentate due strategie completamente differenti. La prima consiste nel calcolo della soluzione parametrizzata in un unico step mediante l'impiego di Physics Informed Neural Networks (PINNs), le quali vengono allenate allo scopo di minimizzare il residuo della PDE soddisfacendo allo stesso tempo le condizioni al contorno (ed eventualmente iniziali) prescritte, per ogni valore del parametro all'interno del suo dominio. Il principale vantaggio di questa strategia, chiamata PINNs-FOM, rispetto ai solutori di PDEs tradizionali risiede nel fatto che le PINNs sono degli algoritmi completamente mesh-free. Dall'altro lato, comparate con i classici ROMs, le PINNs sono di particolare interesse in quanto non richiedono la generazione di soluzioni high-fidelity, chiamate snapshots, particolarmente costose dal punto di vista computazionale. La seconda idea consiste nello sviluppo di un ROM non lineare basato sull'implementazione di un convolutional autoencoder. Sebbene questo approccio, di seguito chiamato PDNNs-Autoencoder (Projection Driven Neural Network-Autoencoder), si basi ancora sulla proiezione di costosi snapshots sullo spazio in cui cercare le soluzioni candidate, la capacità di questo metodo di estrarre le informazioni più importanti dai dati è superiore rispetto ai ROM di tipo lineare. Per questo motivo i PDNNs-Autoencoder offrono un'accuratezza superiore, nei casi sopracitati in cui i ROM lineari perdono efficacia. L'accuratezza e l'efficienza di queste due strategie verranno valutate su 4 differenti casi test. I risultati ottenuti saranno confrontati con quelli derivanti da ROM di tipo lineare, ma che impiegano anch'essi reti neurali artificiali per la predizione rapida della soluzione in tempo reale.