MELTER: a transformer architecture for multi-fidelity problems

We introduce MELTER (Multi-fidELity TransformER), the first Transformer-based deep neural network to tackle Multi-Fidelity problems. MELTER is a modular architecture that can be applied to a wide variety of Multi-Fidelity problems, and can scale well to settings where multiple fidelity levels need to be considered. Our model relaxes the usual assumption of a hierarchy of fidelity levels, and can be used in scenarios where the distinction between low and- high-fidelity levels is not clear. After reporting how we developed the model and its building blocks, we consider the well known benchmark of a fluid flowing against a cylindrical obstacle and we train MELTER to predict the velocity field of the fluid in a Multi-Fidelity setting. We discuss experimental results with ablation and scaling studies, then we compare our model with a simple baseline. MELTER achieves promising experimental results, leaving a solid foundation to future works that can apply this methodology on different use cases.

Presentiamo MELTER (Multi-fidELity TransformER), la prima deep neural network che adotta un'architettura Transformer per risolvere problemi Multi-Fidelity. MELTER è un'architettura modulare che può essere applicata a una vasta gamma di problemi Multi-Fidelity, ed è in grado di adattarsi a scenari dove è necessario considerare molteplici livelli di fedeltà. Il nostro modello rilassa l'assunzione di una gerarchia tra i livelli di fedeltà, è può essere utilizzato anche quando non c'è una chiara distinzione tra bassi e alti livelli di fedeltà. Dopo aver spiegato come abbiamo sviluppato il modello e quali sono i suoi componenti, consideriamo il noto benchmark di un fluido che scorre contro un ostacolo cilindrico, e addestriamo MELTER a predire il campo di velocità del fluido in uno scenario Multi-Fidelity. Analizziamo i risultati sperimentali, includendo ablation e scaling studies, poi confrontiamo MELTER con un modello baseline. MELTER ottiene risultati sperimentali promettenti, lasciando delle solide basi a lavori futuri che potranno utilizzare la nostra metodologia per applicazioni diverse rispetto a quella che abbiamo considerato.