Deep Learning-based reduced order models for PDEs : multi-fidelity strategies for transfer learning

Deep Learning-based Reduced Order Models (DL-ROMs) are a recently developed framework for the efficient approximation of the parameter-to-solution map associated to parametric Partial Differential Equations (PDEs) exploiting Machine Learning techniques. Taking advantage of a set of PDEs snapshots and deep neural networks, after an offline training DL-ROMs enable the inexpensive online evaluation of the PDE solution for any new parameter instance. Thanks to a rigorous theoretical setting, approximation capabilities of DL-ROMs and network architecture complexity have been recently investigated. This thesis extends these results to the case of PDE parameterized by infinite dimensional objects like random fields, confirming the error estimates with numerical experiments. Moreover, this work presents several strategies, all based on the concept of Transfer Learning, to alleviate the computational burden of the DL-ROM offline stage. In particular, we designed a multi-level training algorithm, that takes advantage of snapshots at lower resolution, and a Hybrid DL-ROM, that inherits the internal representation of the solution manifold from a simpler DL-ROM and enhances it with further details through a suitable re-training. Both these strategies have been assessed on a set of model problems involving linear elliptic PDEs. Finally, Hybrid DL-ROMs have been exploited to solve a Bayesian inverse problem for parameter estimation by means of a revisited Monte-Carlo Markov-Chain algorithm in the framework of Uncertainty Quantification of PDEs.

I modelli di ordine ridotto basati su tecniche di Deep Learning (Deep Learning-based Reduced Order Models, DL-ROM) sono metodi che sfruttano tecniche di Machine Learning per approssimare in maniera efficiente la mappa parametro-soluzione associata a Equazioni a Derivate Parziali (EDP) parametriche. Attraverso l’impiego di Deep Neural Networks e di un insieme di snapshots della EDP, dopo una fase di allenamento offline i DL-ROM permettono una valutazione online computazionalmente efficiente della soluzione della EDP per ogni nuovo valore dei parametri. Grazie ad un rigoroso setting teorico, le capacità di approssimazione dei DL-ROM e la complessità, in termini di architettura, delle reti che li compongono sono state di recente investigate. Questa tesi estende tali risulti al caso di EDP parametrizzate da un oggetto infinito dimensionale come un campo stocastico, confermando la stima ottenuta attraverso esperimenti numerici. Inoltre, questo lavoro sviluppa diverse strategie, tutte basate sul concetto di Transfer Learning, per ridurre l’onere computazionale della fase di costruzione offline dei DL-ROM. Specificatamente, presentiamo un algoritmo di allenamento multi-livello, che sfrutta l’utilizzo di soluzioni a bassa risoluzione come snapshots, e DL-ROM Ibridi, che possono acquisire da altri DL-ROM più semplici una rappresentazione interna della varietà delle soluzioni per poi arricchirla di ulteriori dettagli attraverso un opportuno ri-allenamento. Entrambe le strategie proposte sono corredate di un’analisi dei costi computazionali che permette di valutarne l’efficacia su dei problemi modello associati a EDP ellittiche. Infine, i DL-ROM Ibridi sono stati impiegati nella soluzione di un problema di stima di parametri in ambito Bayesiano, attraverso la versione rivisitata di un algoritmo Markov-Chain Monte-Carlo, nel contesto della Uncertainty Quantification per le EDP.