Physics-Informed Mixture of Experts : design, optimization and validation

The Autonomous Physics-Informed Mixture of Expert (API-MoE) is a Machine Learning ensemble model recently introduced to address the black-box models’ lack of transparency. Such a model maintains interpretability by autonomously pairing physics-informed white-box models and black-box ones. Despite being very flexible, the API-MoE is strongly dependent on a proper choice of its hyperparameters. Indeed, if an unsuitable configuration is provided, the mixture may under-exploit some experts while over-exploiting others. Thus, in this work, we propose and discuss different approaches to API-MoE’s hyperparameter optimization. We study how the behavior of the mixture’s functional components is affected by the tuning of such quantities. Having in mind simplicity and computational efficiency, we designed two alternative methodologies: one selecting only part of the hyperparameters, the other allowing for distributed computing. To assess their validity, we tested them on two numerical examples: first on a synthetic problem and then on a real scenario, involving the estimation of sideslip angles for a sedan car. Upon the introduction of a suitable loss function, both strategies proved to be effective in optimizing the mixture. In particular, the second approach produced results comparable to hand-crafted, lengthy procedures involving a series of trials and errors.

L’Autonomous Physics-Informed Mixture of Expert (API-MoE) è un modello di ensemble di apprendimento automatico recentemente introdotto per mitigare la mancanza di trasparenza dei modelli black-box. Tale modello mantiene l’interpretabilità accoppiando autonomamente modelli white-box dedotti dalla fisica del problema con modelli black-box. Nonostante sia molto flessibile, l’API-MoE dipende fortemente da una scelta corretta dei suoi iperparametri. Infatti, se viene fornita una configurazione inadeguata, la miscela può sotto-sfruttare alcuni esperti e sovra-sfruttarne altri. In questa tesi sono proposti e discussi diversi approcci all’ottimizzazione degli iperparametri dell’ API-MoE. Viene inoltre studiato come il comportamento delle componenti funzionali della miscela sia influenzato dalla messa a punto di tali quantità. Tenendo conto della semplicità e dell’efficienza computazionale, abbiamo progettato due metodologie alternative: una che seleziona solo una parte degli iperparametri, l’altra che consente il calcolo distribuito. Per valutarne l’efficacia, le abbiamo testate su due esempi numerici: prima su un problema artificiale creato ad-hoc e poi su dati reali, riguardanti la stima degli angoli di sbandamento (sideslip angle) di una berlina. Con l’introduzione di un’adeguata funzione di costo, entrambe le strategie si sono dimostrate efficaci nell’ottimizzare la miscela. In particolare, il secondo approccio ha prodotto risultati paragonabili a quelli di lunghe procedure manuali condotte per tentativi ed errori.