Bridging optimal control and reinforcement learning: a model-based framework for optimal control of Partial Differential Equations via differentiable simulation

The real-time control of systems governed by partial differential equations (PDEs) represents a fundamental challenge in science and engineering due to high-dimensional state spaces and complex spatio-temporal dynamics. This work provides a unifying perspective on gradient-based control by leveraging the formal equivalence between classical adjoint-state methods and modern automatic differentiation. By reframing physical simulators as fully differentiable computational graphs, the thesis bridges the gap between traditional PDE-constrained optimal control and policy-driven Reinforcement Learning. To evaluate this framework, a suite of differentiable control environments was developed using technologies such as PyTorch and FEniCS-adjoint. These environments serve to compare three distinct strategies: Backpropagation Through Time (BPTT), model-free Proximal Policy Optimization (PPO), and Short-Horizon Actor–Critic (SHAC). Results demonstrate that embedding physical gradients directly into the learning process significantly alleviates the curse of dimensionality and improves sample efficiency compared to purely model-free approaches. Furthermore, the analysis shows that algorithms like SHAC effectively mitigate the gradient instabilities and long-horizon challenges typically associated with BPTT in chaotic systems. This work highlights the potential of differentiable physics to provide a principled, stable, and physics-aware foundation for high-dimensional control applications.

Il controllo in tempo reale di sistemi governati da equazioni alle derivate parziali (PDE) rappresenta una sfida fondamentale nell’ambito scientifico e ingegneristico, a causa degli spazi di stato ad alta dimensionalità e delle complesse dinamiche spazio-temporali. Questo lavoro di tesi fornisce una prospettiva unificante sul controllo basato sul gradiente, sfruttando l'equivalenza formale tra i classici metodi dello stato aggiunto (adjoint-state methods) e i moderni framework di differenziazione automatica. Inquadrando i simulatori fisici come grafi computazionali completamente differenziabili, il lavoro di tesi si inserisce tra il controllo ottimo tradizionale vincolato da PDE e il Reinforcement Learning basato su policy. Per validare l'approccio proposto, è stata sviluppata una suite di ambienti di controllo differenziabili avvalendosi di tecnologie come PyTorch e FEniCS-adjoint. Questi ambienti hanno permesso di mettere a confronto tre diverse strategie: la Backpropagation Through Time (BPTT), il Proximal Policy Optimization (PPO) e l'approccio Short-Horizon Actor–Critic (SHAC). I risultati dimostrano che l'uso di gradienti fisici nel processo di apprendimento permette di mitigare efficacemente le criticità inerenti all'alta dimensionalità dei problemi, garantendo una efficienza campionaria superiore rispetto agli approcci puramente stocastici o black-box. Inoltre, l'analisi evidenzia come algoritmi quali SHAC siano in grado di gestire le instabilità dei gradienti e le problematiche legate agli orizzonti temporali estesi, criticità tipicamente associate alla BPTT nel contesto di sistemi dinamici caotici. In conclusione, questo lavoro sottolinea il potenziale della fisica differenziabile nello sviluppo di soluzioni di controllo per sistemi governati da equazioni alle derivate parziali.