Development of surrogate models for the CFD simulation of heterogeneous catalytic reactors based on ANNs and Neural ODEs

First-principles based multiscale modeling is acknowledged to be one of the key contributions in the detailed analysis of catalytic processes and can provide some important pieces of information to achieve a fundamental understanding of the process under reacting conditions. This is achieved by solving the characteristic equations at each scale. In this view, the active site functionality is described through electronic structure calculations resulting in detailed microkinetic models, while the transport process are described by using Computational Fluid Dynamics (CFD) methodologies. The fundamental understanding of observed catalyst functionality achieved with first-principles-based multiscale models comes with significant computational costs, mainly related to the inclusion of detailed descriptions of catalytic reactivity in the simulations. Thus, the development of methodologies able to reduce such computational burden is key for a widespread utilization of this approach. Machine learning-based surrogate models have recently emerged as a potential solution because, once properly trained, they can be employed to approximate the evolution of complex systems (e.g. chemical substep in CFD simulation) by providing accurate and computationally efficient alternatives to the full solution of the chemistry. This work focuses on the application of Artificial Neural Networks (ANNs) for the generation of surrogate models of the chemical substep, that represents the evolution of the system due to catalytic reaction in a CFD framework based on the operator splitting approach. In particular, it aims at evaluating the potential and the limitations of ANN-based surrogate models in terms of accuracy and robustness, with the purpose of providing a general workflow for the development of surrogates models. Two different ANN architectures, Feed Forward Neural Networks (FFNNs) and Neural Ordinary Differential Equations (NODEs), have been considered. The performances of FFNNs and NODEs for the approximation of the evolution of the different species have been tested on systems of growing complexity described by a rate equation-based model and by detailed microkinetic models, exploring two different strategies for the construction of the training dataset. Both FFNNs and NODEs are able to properly approximate the system evolution when dealing with the rate equation-based model and uniform meshes. Moreover, NODEs allow for achieving accurate results even in case of limited extrapolation outside the training ranges, while further improvements are required to properly manage detailed microkinetic models and non-uniform meshes. As a whole, this work demonstrates the potential of ANN-based surrogate models for improving the computational efficiency of reactive CFD simulations.

Il contributo della modellazione multiscala basata su principi primi è riconosciuto come essenziale nell'analisi dettagliata di processi catalitici, ed è in grado di fornire importanti frammenti di conoscenza per raggiungere una comprensione profonda dei processi nelle condizioni di reazione, attraverso la soluzione delle equazioni caratteristiche di ogni scala. In questa prospettiva, la funzionalità dei siti attivi è descritta attraverso calcoli relativi alla struttura elettronica che si traducono in modelli microcinetici dettagliati, fino ad arrivare a simulazioni Monte Carlo cinetiche, mentre i fenomeni di trasporto alla scala del supporto e del reattore sono caratterizzati utilizzando metodologie di fluidodinamica computazionale (CFD). La profonda comprensione della funzionalità catalitica osservabile, raggiunta con i modelli multiscala basati su principi primi, comporta significativi costi computazionali, principalmente dovuti all'inclusione delle descrizioni dettagliate della reattività catalitica nelle simulazioni. Di conseguenza, lo sviluppo di metodologie in grado di ridurre tale carico computazionale è vitale per un diffuso utilizzo di questo approccio. I modelli surrogati basati su tecniche di machine learning sono recentemente emersi come una potenziale soluzione poiché, una volta allenati adeguatamente, possono essere impiegati per approssimare l'evoluzione di sistemi complessi (quali lo step chimico in simulazioni CFD), fornendo un'alternativa accurata e computazionalmente efficiente alla soluzione completa della chimica del sistema. Questo lavoro si concentra sull'applicazione di reti neurali artificiali (ANNs) per la generazione di modelli surrogati dello step chimico, che rappresenta l'evoluzione del sistema dovuta alla reazione catalitica in un contesto CFD basato sull'approccio di separazione degli operatori. In particolare, questa tesi mira a valutare il potenziale e i limiti dei modelli surrogati basati su reti neurali in termini di precisione e robustezza, con l'obiettivo di fornire un piano di lavoro generale per lo sviluppo di modelli surrogati. Sono state considerate due diverse architetture di ANNs, le reti neurali feed-forward (FFNNs) e le equazioni differenziali ordinarie neurali (NODEs). Le prestazioni di FFNNs e NODEs nell'approssimare l'evoluzione delle varie specie sono state testate su sistemi di crescente complessità descritti da modelli cinetici basati su equazioni di velocità di reazione e da modelli microcinetici dettagliati, esplorando due diverse strategie per la costruzione del dataset di allenamento. Entrambe le reti FFNNs e NODEs sono in grado di approssimare correttamente l'evoluzione del sistema caratterizzato da un modello basato su equazioni di velocità di reazione e mesh uniformi. Inoltre, le reti NODEs permettono di raggiungere precisi risultati anche in caso di una limitata estrapolazione al di fuori dei limiti di allenamento, mentre sono necessari ulteriori miglioramenti per gestire adeguatamente modelli microcinetici dettagliati e mesh non uniformi. Nel complesso, questo lavoro dimostra il potenziale dei modelli surrogati basati su reti neurali volti a migliorare l'efficienza computazionale di simulazioni CFD reattive.