Geometrical features encoding for neural networks based surrogate models

In the context of surrogate modeling of partial differential equations, artificial neural networks (ANNs) are characterized by extremely fast predictions compared to classical numerical solvers. These models are commonly used to approximate the solution maps between inputs (the geometry, the physical coefficients, and/or the spatial coordinates) and the associated solution fields. However, like most data-driven approaches, training ANN surrogate models requires very rich datasets that capture the variability of the phenomenon being approximated, and underperform in the context of limited data. One strategy to address this limitation is to enrich the input space with relevant additional information that supports the ANN in learning the input/output correlations. Many features encoding strategies are present in literature, but comparisons on the improvement that such case-specific encoding are lacking, especially regarding geometrical information. In this Thesis, we present an extensive benchmark comparison of features encoding in the context of ANN based surrogate model that approximates the solution of the Navier-Stokes equations. Specifically, we tested the use of classical methodologies such as parametrization and landmarks in conjunction and in comparison with other geometrical information: the signed distance scalar field, the solution of the Laplace equation and the Gaussian Fourier Features. Our numerical results show that, when providing to the input the signed distance functions, the solution of the Laplace equation, Gaussian Fourier Features, and their combination with domain landmarks and domain parametrization, the accuracy of the surrogate model improves consistently. Reduction in the prediction error by a factor ranging from 1.5 to 13 is obtained.

I modelli surrogati basati su Reti Neurali atti a riprodurre soluzioni delle Equazioni Differenziali Parziali hanno il vantaggio di essere più veloci in fase di previsione rispetto ai risolutori numerici classici. Questi modelli sono comunemente usati per approssimare la soluzione come mappa tra inputs (la geometria, coefficienti fisici e/o le coordinate spaziali) e il campo stesso. Però, come la maggior parte dei modelli basati su dati, questi necessitano di dataset grandi e contenenti la maggior variabilità del fenomeno da approssimare e soffrono in fase di apprendimento per scarsità di informazioni dei dati. Un modo per ovviare a queste limitazione è fornire informazioni rilevanti per il caso in esame, aumentando lo spazio di input per supportare la fase di apprendimento. Molte strategie di features encoding sono presenti in letteratura, mancano però comparazioni riguardo il miglioramento dell'accuratezza che si può ottenere incorporando informazioni geometriche. Con questa tesi, presentiamo un benchmark sul features encoding geometrico nel contesto di modelli surrogati basati su reti neurali che approssimano la soluzione delle equazioni di Navier-Stokes. Nello specifico, abbiamo testato l'uso di metodologie classiche quali la parametrizzazione e l'uso di landmark del dominio, accoppiando e comparando l'aggiunta di altre informazioni geometriche: la funzione di distanza con segno, la soluzione dell'equazione di Laplace e le Gaussian Fourier Features. Nei nostri risultati numerici troviamo che fornendo alla rete informazioni come il campo di distanza dal bordo, la soluzione dell'equazione di Laplace, le Gaussian Fourier Features e la loro combinazione con landmarks e parametrizzazione del dominio possono migliorare l'accuratezza del modello surrogato nella maggior parte dei casi. Constatiamo che l'utilizzo di tali informazioni aggiuntive apporta una riduzione dell'errore di predizione da 1.5 a 13 volte.