Physics-informed neural networks with approximate derivatives for the solution of Hamilton-Jacobi-Bellman equations

This thesis investigates the use of physics-informed neural networks (PINNs) to solve high-dimensional Hamilton-Jacobi-Bellman (HJB) equations arising in optimal control problems. Traditional numerical methods suffer from the curse of dimensionality, motivating mesh-free PINN approaches that embed PDE constraints directly into neural network training. We study a recently proposed application of a technique known as randomized smoothing to approximate neural network derivatives, significantly accelerating training while maintaining solution accuracy through variance reduction techniques. Theoretical contributions include stability estimates for linear Kolmogorov PDEs on unbounded domains and a convergence proof for an actor-critic physics-informed method that simultaneously approximates the value function and optimal control. Numerical experiments on benchmark problems validate the scalability and efficiency of the proposed methods in moderately high dimensions.

Questa tesi analizza l’impiego delle reti neurali informate dalla fisica (physics-informed neural networks, o PINN) per la risoluzione di equazioni di Hamilton-Jacobi-Bellman (HJB) ad alta dimensionalità, che emergono nei problemi di controllo ottimo. I metodi numerici tradizionali soffrono del fenomeno noto come curse of dimensionality, il che motiva l’adozione di approcci PINN privi di griglia, in cui i vincoli imposti dalle equazioni alle derivate parziali (EDP) vengono incorporati direttamente nella fase di addestramento della rete neurale. In particolare, si analizza un’applicazione recentemente proposta della tecnica nota come randomized smoothing per l’approssimazione delle derivate della rete neurale, che consente di accelerare significativamente l’addestramento mantenendo un’elevata accuratezza della soluzione grazie a tecniche di riduzione della varianza. I contributi teorici includono stime di stabilità per EDP di Kolmogorov lineari su domini non limitati e una dimostrazione di convergenza per un metodo actor-critic basato su PINN, che approssima simultaneamente la funzione di valore e il controllo ottimo. Esperimenti numerici condotti su problemi di riferimento confermano la scalabilità e l’efficienza dei metodi proposti in dimensioni moderatamente elevate.