Physics-based polynomial neural networks for learning of dynamical systems

The target of this work is to analyze the connection between Taylor maps (TM) and polynomial neural networks (PNN) to numerically solve ordinary differential equations (ODEs). The Taylor map is a polynomial approximation of the general solution of a nonlinear system of ODEs: by using the TM, if the explicit form of the equations is known, it is possible to directly evaluate the weights of the PNN. For this reason the PNN can be used for simulation of system dynamics with different initial conditions without the training procedure. On the other hand, if the equations are unknown, the weights can be fitted in a data-driven way: from only one solution of the system it is possible to recover his dynamics (one-shot learning). Some results will be presented in order to show the effectiveness of the proposed method, for examples the system of Van der Pol oscillator and the one that describe the dynamic of a charged particle in an electromagnetic field are considered. In the final part of the work a comparison between the PNN and other classical neural networks (i.e. LSTM and MLP) is exposed: the PNN will be the best to recover physical information by starting from only one observation.

L’obiettivo del seguente lavoro è quello di mostrare la possibilità di risolvere sistemi di equazioni differenziali ordinarie mediante l’utilizzo di uno speciale neural network chiamato “polynomial neural network” (PNN). Per la costruzione di tale modello verrà utilizzata la Mappa di Taylor(TM): essa è un’approssimazione polinomiale della soluzione generale di un sistema dinamico. La Mappa di Taylor sarà fondamentale per l’inizializzazione delle matrici dei pesi del PNN, in particolare: se il sistema dinamico e le sue equazioni sono note, la TM permette un calcolo diretto ed il neural network non necessita di alcuna fase di allenamento; al contrario, se non sono disponibili informazioni a priori riguardanti le equazioni, la matrice dei pesi si costruisce direttamente dai dati, avendo a disposizione un’unica soluzione (in questo caso si parla di apprendimento one-shot). Attraverso degli esempi, come quello del pendolo semplice o del modello preda-predatore di Lotka-Volterra, verranno mostrati i vantaggi di questo speciale neural network: esso raggiunge un’alta capacità di generalizzazione con cui è possibile fare delle previsioni accurate riguardo al funzionamento del sistema dinamico preso in esame. Infine ci sarà un confronto tra il PNN e altri neural network classici (cioè LSTM e MLP): verrà mostrato come, partendo da un’unica soluzione disponibile con cui allenare il network, il PNN è quello che fornisce i risultati migliori.