LNN-MBPO: exploiting lagrangian neural network models for learning control strategies

Accurate and efficient modeling of dynamic systems is a critical challenge in robotics and control engineering. Traditional physics-based approaches provide interpretable and well-structured models, but often require explicit system parameters that may be difficult to obtain. In contrast, data-driven machine learning models excel in capturing complex behaviors, but lack physical consistency and require extensive datasets. This thesis explores an alternative approach by leveraging Lagrangian Neural Networks (LNNs) as physics-informed models for system identification and control. The proposed framework integrates LNNs within a Model-Based Policy Optimization (MBPO) reinforcement learning algorithm to improve sample efficiency and control stability. By embedding the physical constraints of the system directly into the learned model, LNNs preserve energy conservation and other system properties while still benefiting from data-driven learning. To enhance realism and robustness, an additional neural network component is introduced to model non-conservative forces such as friction, improving predictive performance in realistic settings. The performance of the proposed approach is evaluated across three different environments (1-DoF pendulum, 2-DoF cart-pole, 3D robotic system) with increasing complexity. In each case, the LNN-based model is compared to an ensemble of traditional neural networks, assessing both prediction accuracy and control performance. The results demonstrate that LNNs outperform standard neural networks in long-term state prediction while requiring fewer samples for training. Furthermore, LNNs integrated within MBPO achieve more sample-efficient reinforcement learning, resulting in more stable and interpretable policies. Finally, the proposed method is validated with real-world experimental data. The results confirm that LNNs effectively captures real system dynamics even in the presence of measurement noise and unmodeled effects. These findings highlight the potential of Lagrangian-based learning models in physics-informed reinforcement learning, offering a promising direction for developing data-efficient and physically consistent AI-driven control strategies in robotic applications.

La modellazione accurata ed efficiente dei sistemi dinamici è una sfida cruciale nella robotica e nell'ingegneria di controllo. Gli approcci tradizionali basati sulla fisica forniscono modelli interpretabili e ben strutturati, ma spesso richiedono parametri di sistema espliciti che possono essere difficili da ottenere. Al contrario, i modelli di apprendimento automatico basati sui dati eccellono nel catturare comportamenti complessi, ma mancano di consistenza fisica e richiedono una grande quantità di dati. Questa tesi esplora un approccio alternativo sfruttando le reti neurali lagrangiane (LNN) come modelli informati dalla fisica per l'identificazione e il controllo dei sistemi. Il framework proposto integra le LNN all'interno di un algoritmo di Reinforcement Learning, denominato Model-Based Policy Optimization (MBPO), per migliorare l'efficienza dei dati e la stabilità di controllo. Incorporando i vincoli fisici del sistema direttamente nel modello appreso, le LNN preservano la conservazione dell'energia e altre proprietà del sistema, pur beneficiando dell'apprendimento basato sui dati. Per migliorare le prestazioni e la robustezza, viene introdotta una seconda rete neurale per modellare forze non conservative come l'attrito, garantendo previsioni accurate sia in condizioni ideali che reali. Le prestazioni dell'approccio proposto sono state valutate in tre ambienti diversi con complessità crescente (pendolo 1-Gdl, carrello-pendolo 2-Gdl, sistema robotico 3D). In ogni caso, il modello basato sulle LNN viene confrontato con un \textit{Ensemble} di reti neurali tradizionali, valutando sia l'accuratezza della previsione che le prestazioni di controllo. I risultati dimostrano che le LNN riescano a garantire una migliore previsione dello stato del sistema, richiedendo un minor numero di dati per l'addestramento. Inoltre, le LNN integrate nell'MBPO sono più efficienti in termini di dati, con il risultato di policy più stabili e interpretabili. Infine, il metodo proposto è stato convalidato con dati sperimentali reali. I risultati confermano che le LNN riescano a catturare efficacemente la dinamica reale del sistema anche in presenza di rumore in fase di misurazione.