Towards adaptive PINNs for PDEs : a numerical exploration

Among several other fields related to applied mathematics, Deep Neural Networks (DNNs) have been recently deployed to the study and analysis of Partial Differential Equations (PDEs), emerging as the so-called Physics-Informed Neural Networks (PINNs). In this work, we focus our attention on their performance in approximating the exact solution of a general and significative set of scalar PDEs. During our discussion, we should expect to appreciate their renowned qualities and face some of the notorious drawbacks that are still responsible for their limited use in real-world applications. One of their major disadvantages consists in the actual problem of choosing the most convenient architecture to be used for our purposes, which represents the heart of our discussion. After a thorough analysis of the results concerning the performances related to the basic version of the PINN, where we study the relationship between the accuracy of the trained networks and their structural characteristics consisting in the number of hidden layers, the amount of neurons per layer and the cardinality of the training set, we provide a general overview of some innovative techniques, found in literature, that aim at enhancing this numerical tool. Finally, we propose the implementation and the relative heuristic justification of an attempted adaptive scheme, an evolution of the plain basic framework formerly introduced, that jointly employs the so- called Growing Method alongside the Residual Adaptive Refinement technique. The computational tool exploited for the construction of all models relies on a newly- developed Python library for the resolution of scalar PDEs over elementary hyper- rectangular domains by means of an ADAM - LBFGS optimizer (the related code is publicly available at: https://github.com/patropolimi/Thesis).

Oltre che per una moltitudine di branche in cui intervengono tecniche di matematica applicata, i Deep Neural Networks sono recentemente emersi anche per applicazioni connesse con lo studio e l’analisi delle Equazioni Differenziali alle Derivate Parziali, diventando noti in questo contesto come Physics-Informed Neural Networks. In questo lavoro focalizzeremo la nostra attenzione sulle relative performance nell’approssimare la soluzione esatta per un generico insieme di equazioni differenziali scalari. Durante la nostra esposizione ci aspettiamo di trovarci ripetutamente di fronte alle loro qualità e, allo stesso tempo, riscontrarne i noti difetti che tuttora limitano il loro sfruttamento in molte applicazioni reali. In questo senso, uno dei più noti svantaggi ad essi connesso consiste nel noto problema della scelta di una conveniente architettura per la risoluzione del problema considerato. Dopo un’analisi approfondita dei risultati riguardanti la versione base del PINN, dove studieremo la relazione tra l’accuratezza dei modelli ottenuti e le loro caratteristiche strutturali (numero di hidden layers, quantità di neuroni per layer e cardinalità del training set), daremo una overview generale di alcune tecniche che vengono accompagnate al loro utilizzo in letteratura. Successivamente proporremo una giustificazione euristica e la relativa implementazione di un nuovo schema adattivo per i PINN, che affianca il noto metodo di Growing alla tecnica conosciuta come Residual Adaptive Refinement. Lo strumento tecnologico che verrà sfruttato per la costruzione di tutti i modelli di questo progetto si basa su una semplice e nuova libreria Python, sviluppata per la risoluzione di Equazioni Differenziali alle Derivate Parziali su domini iper-rettangolari mediante una procedura di apprendimento basata sull’impiego combinato degli ottimizzatori ADAM e LBFGS. Il materiale di questo lavoro è integralmente e pubblicamente accessibile seguendo il link https://github.com/patropolimi/Thesis.