Assessment and analysis of ANN applied to the approximation of first-principles kinetic models

Multiscale modeling is widely acknowledged to provide in-depth insights into the complex physical-chemical phenomena that characterize catalytic reactors enabling to achieve a fundamental understanding and design of the most suitable reactor geometry and configuration. When first-principles-based detailed kinetic models are considered, the benefits of such detailed models are accompanied by significant computational costs, which hinder their adoption into reactor-scale/plant level simulations. To mitigate such a limitation, surrogate models might be employed to accurately approximate the detailed kinetic model with a concomitant boost in the computational efficiency. In this context, this thesis work preliminarily assesses the capabilities of a family of machine learning algorithms, known as artificial neural networks (ANN), to generate surrogate models of detailed first-principles-based kinetic mechanisms. The general aim is to assess different neural network architectures to disclose their potential to accurately and efficiently approximate detailed kinetic models. The surrogate models can then be included in high-hierarchy reactor models (e.g. Computational Fluid Dynamics – CFD simulations) that can strongly benefit from a reduction of the computational burden in terms of size of the investigate geometry and complexity of the physical and chemical process. The assessment will be carried out on different levels in terms of complexity of the kinetic mechanism and network topology. Initially, fully black-box models represented by Feed Forward Neural Networks (FFNN) have been considered. Then, two more network architectures – called Physically Guided Neural Network (PGNN) and Chemical Reaction Neural Network (CRNN) – were studied, with the aim to enhance parameter explainability. A secondary goal of the research was thus to develop a tool for the autonomous discovery of reaction stoichiometries and kinetic parameters from experimental and simulation data. The machine learning algorithms were trained with data from two kinetic models of different complexities. The first was a simple homogeneous kinetics involving four elementary, irreversible reactions between five species. The second was a detailed, heterogeneous microkinetic model for the catalytic oxidation of hydrogen on Rh/α-Al2O3. All three network architectures yielded satisfactory results for the first kinetic mechanism. The FFNN was able to achieve an error of 5% in the approximation of the production rates. Similar results were obtained by PGNN models and by CRNN models, with the loss an order of magnitude lower. By considering the physically-grounded models, the network parameters were able to reproduce the original kinetic quantities with reasonable accuracy. In the case of the microkinetic model, the increased complexity of the mechanism resulted in increased training difficulties and reduced accuracy. Both FFNN and PGNN provided similar results, and the latter was still able to discover the main stoichiometries and to regress the kinetic parameters. Differently, the CRNN showed difficulty in reproducing the outputs from the detailed heterogeneous model.

La modellazione multiscala è universalmente riconosciuta come una disciplina capace di fornire una comprensione profonda dei complessi fenomeni chimico-fisici che caratterizzano i reattori chimici, e permettere una comprensione fondamentale e una progettazione accurata delle migliori geometrie e configurazioni reattoristiche. Quando si considerano modelli cinetici dettagliati ai principi primi, i benefici di modelli tanto dettagliati si accompagnano a costi computazionali significativi, che ne ostacolano l’utilizzo in simulazioni alla scala del reattore o dell’impianto. Per mitigare tale limitazione, si possono utilizzare modelli surrogati che approssimino in modo preciso il modello cinetico dettagliato, ma ne migliorino l’efficienza computazionale. In questo contesto, questo lavoro di tesi è una valutazione preliminare delle potenzialità di una famiglia di algoritmi di machine learning, noti come reti neurali artificiali (artificial neural networks, ANN) nello sviluppo di modelli surrogati di cinetiche dettagliate ai principi primi. Lo scopo generale è studiare separatamente reti neurali di diverse architetture per rivelare il loro potenziale nell’approssimare in modo preciso ed efficiente dei modelli cinetici dettagliati. I modelli surrogati così ottenuti possono poi essere integrati in modelli reattoristici dettagliati (per esempio basati sulla fluidodinamica computazionale, o CFD) che possono beneficiare molto di una riduzione del costo computazionale, portando alla possibilità di modellare sistemi più grandi e dalla chimica e fisica più complesse. La valutazione verrà condotta per diversi livelli di complessità del meccanismo cinetico e diverse topologie di rete neurale. Inizialmente, si sono considerati modelli interamente black-box rappresentati da reti neurali feed-forward (FFNN). Dopodiché sono state studiate due architetture – chiamate Physically Guided Neural Network (PGNN) e Chemical Reaction Neural Network (CRNN) – ideate allo scopo di aumentare l’explainability dei parametri, ovvero la loro corrispondenza con grandezze fisico-chimiche del sistema studiato. Un ulteriore obiettivo della ricerca è stato quindi lo sviluppo di un algoritmo in grado di derivare autonomamente, da dati sperimentali o di simulazione, informazioni sulla stechiometria e sui parametri cinetici di un dato sistema reagente. I modelli surrogati sono stati allenati con dataset calcolati da due modelli cinetici distinti. Il primo consiste in una semplice cinetica omogenea formata da quattro reazioni elementari e irreversibili tra cinque specie fittizie. Il secondo è un modello microcinetico dettagliato della reazione di ossidazione di idrogeno su un catalizzatore eterogeneo (Rh/αAl2O3). Tutte e tre le topologie hanno dato risultati soddisfacenti per quanto riguarda il primo meccanismo. Il modello FFNN ha raggiunto un errore di appena 0.1% nell’approssimazione delle velocità di produzione. Risultati simili sono stati ottenuti dai modelli PGNN e CRNN, i cui parametri hanno riprodotto con ragionevole precisione quelli della cinetica originaria. La maggiore complessità del modello microcinetico ha causato maggiori difficoltà nell’allenamento e una minore precisione nelle prestazioni finali. I modelli FFNN e PGNN hanno mostrato risultati simili, e questi ultimi sono riusciti a ricavare la stechiometria globale e i parametri cinetici. Al contrario, i modelli CRNN hanno mostrato una difficoltà sistematica nel replicare gli output del modello eterogeneo dettagliato.