Long-time prediction of nonlinear parametrized dynamical systems through deep learning-based reduced order models

Partial differential equations are extensively used to formulate several mathematical models in applied sciences and engineering. Traditional high-fidelity, full order models (FOMs) for their numerical approximation, such as those relying on the finite element method, are not suitable for real-time applications. In fact, despite being accurate up to a desired tolerance, they often entail unaffordable computational times, sometimes even orders of magnitude higher than what real-time computing would require. In this context, reduced order models (ROMs) were introduced with the goal of increasing computational speed in timing critical applications. Nevertheless, although providing a rigorous and reliable framework to address time/parameter-dependent problems, ROMs exploiting proper orthogonal decomposition (POD) show poor performances when applied to highly nonlinear problems, or to problems featuring moving coherent structures, such as wave fronts or dominant advection problems. Recently, deep learning (DL) techniques based on artificial neural networks (ANN) have proven to be effective in reducing online solution time for differential problems even in those nonlinear cases, paving the way for data science to become an ever more crucial character in the realm of scientific computing. This thesis aims at taking a further step towards the use of deep learning algorithms for the efficient numerical approximation of parametrized partial differential equations in computational mechanics. In particular, we present the POD-LSTM-ROM method, that exploits alternative long short-term memory (LSTM) neural network architectures in the framework of POD-DL-ROMs in order to grasp the time evolution of the PDE problem. This novelty contributes to a further reduction in prediction time, without compromising offline training performances and prediction accuracy. An extension of the POD-LSTM-ROM framework involving LSTM-based ANNs is then introduced in order to allow long-term prediction of complex systems' evolution. Finally, the aforementioned techniques will be applied to address the fast approximation of the behavior of micro-structures such as, e.g., Micro Electro-Mechanical System (MEMS), a technology that has a deep impact in the consumer and industrial market.

Le equazioni a derivate parziali sono spesso impiegate nella descrizione matematica dei modelli sia in ambito ingegneristico, sia nelle scienze applicate. I metodi ad alta fedeltà (o full order models, FOM) utilizzati per la loro approssimazione numerica (ad esempio quelli basati sul metodo degli elementi finiti) non sono adatti per applicazioni in real-time. Infatti, nonostante questi ultimi possano raggiungere in linea di principio qualsiasi accuratezza desiderata, spesso richiedono tempi computazionali sproporzionati, fino a diversi ordini di grandezza superiori rispetto a quelli necessari per la simulazione in tempo reale. In risposta a questo problema sono stati introdotti i metodi ad ordine ridotto (o reduced order models, ROM), con l'obiettivo di aumentare la velocità di simulazione in applicazioni in cui questa ha importanza critica. Tuttavia, benché forniscano una struttura rigorosa ed affidabile per la risoluzione di problemi con doppia dipendenza parametri/tempo, i modelli ridotti che sfruttano la proper orthogonal decomposition (POD) esibiscono un sensibile calo delle prestazioni quando vengono applicati a problemi fortemente non lineari o caratterizzati da strutture (di turbolenza) coerenti, ad esempio simulazioni di fronti d'onda o problemi ad avvezione dominante. Alcune tecniche di deep learning (DL) basate su reti neurali artificiali (ANN) hanno dimostrato recentemente di essere efficaci nella riduzione dei tempi computazionali anche in quei casi di non linearità, aprendo la via a una sempre più importante sinergia tra la scienza dei dati e il calcolo scientifico. Questa tesi si pone l'obiettivo di compiere un ulteriore passo nella direzione dell'utilizzo di algoritmi di deep learning per un'efficiente approssimazione numerica di equazioni a derivate parziali parametriche nell'ambito della meccanica computazionale. In particolare viene introdotto qui il metodo POD-LSTM-ROM, che utilizza architetture di tipo long short-term memory (LSTM) nel contesto del metodo POD-DL-ROM al fine di informare la rete neurale riguardo l'evoluzione temporale del problema differenziale sottostante. Questo contributo determina una riduzione notevole del tempo di predizione, senza tuttavia compromettere né le prestazioni di training nella fase offline, né l'accuratezza complessiva del metodo. Presentiamo anche un'estensione del framework POD-LSTM-ROM che include anche una rete neurale basata su LSTM per la predizione delle serie temporali per consentire la simulazione a lungo termine dell'evoluzione di sistemi anche complessi. Nella parte finale abbiamo applicato le tecniche menzionate all'approssimazione rapida del comportamento di micro strutture, come ad esempio i sistemi micro elettro-meccanici (MEMS), tecnologia dal forte impatto sia in ambito consumer, sia in quello industriale.