Reconciling deep learning and control theory : recurrent neural networks for model-based control design

This doctoral thesis aims to establish a theoretically-sound framework for the adoption of Recurrent Neural Network (RNN) models in the context of nonlinear system identification and model-based control design. The idea, long advocated by practitioners, of exploiting the remarkable modeling performances of RNNs to learn black-box models of unknown nonlinear systems, and then using such models to synthesize model-based control laws, has already shown considerable potential in many practical applications. On the other hand, the adoption of these architectures by the control systems community has been so far limited, mainly because the generality of these architectures makes it difficult to attain general properties and to build solid theoretical foundations for their safe and profitable use for control design. To address these gaps, we first provide a control engineer-friendly description of the most common RNN architectures, i.e., Neural NARXs (NNARXs), Gated Recurrent Units (GRUs), and Long Short-Term Memory networks (LSTMs), as well as their training procedure. The stability properties of these architectures are then analyzed, using common nonlinear systems' stability notions such as the Input-to-State Stability (ISS), the Input-to-State Practical Stability (ISPS), and the Incremental Input-to-State Stability (δISS). In particular, sufficient conditions for these properties are devised for the considered RNN architectures, and it is shown how to enforce these conditions during the training procedure, in order to learn provenly stable RNN models. Model-based control strategies are then synthesized for these models. In particular, nonlinear model predictive control schemes are first designed: in this context, the model's δISS is shown to enable the attainment of nominal closed-loop stability and, under a suitable design of the control scheme, also robust asymptotic zero-error output regulation. Then, an alternative computationally-lightweight control scheme, based on the internal model control strategy, is proposed, and its closed-loop properties are discussed. The performances of these control schemes are tested on several nonlinear benchmark systems, demonstrating the potentiality of the proposed framework. Finally, some fundamental issues for the practical implementation of RNN-based control strategies are mentioned. In particular, we discuss the need for the safety verification of RNN models and their adaptation in front of changes of the plant's behavior, the definition of RNN structures that exploit qualitative physical knowledge of the system to boost the performances and interpretability of these models, and the problem of designing control schemes that are robust to the unavoidable plant-model mismatch.

Questa tesi di dottorato mira a definire un quadro teorico per l’adozione di reti neurali ricorrenti (RNN) per l’identificazione e il controllo di sistemi dinamici nonlineari. L’idea di sfruttare le notevoli capacità rappresentative delle RNN per apprendere modelli black-box di sistemi nonlineari, sulla base dei quali sono poi sintetizzate leggi di controllo model-based, ha recentemente mostrato un potenziale notevole in moltissimi contesti applicativi. Ciò nonostante, l'adozione di queste architetture di controllo da parte della comunità dei controlli automatici è stata finora limitata: la genericità di queste architetture rende infatti molto difficile ottenere proprietà generali e costruire basi teoriche solide che ne consentano un impiego proficuo e sicuro. Per rispondere a queste necessità, in questa tesi forniamo una descrizione che possa risultare familiare all’ingegnere del controllo delle più comuni architetture RNN, quali le Neural NARX (NNARX), le GRU (Gated Recurrent Unit) e le LSTM (Long Short-Term Memory Network), e dettagliamo l’algoritmo per il loro apprendimento. Le proprietà di stabilità di queste architetture sono quindi analizzate, ricorrendo a nozioni di stabilità comunemente adottate per sistemi nonlineari, come la Input-to-State Stability (ISS), la Input-to-State Practical Stability (ISPS) e la Incremental Input-to- State Stability (δISS). In particolare, condizioni sufficienti che garantiscono tali proprietà sono formulate per le architetture RNN considerate, e viene illustrato come queste condizioni possono essere imposte durante la procedura di training, in modo da apprendere modelli RNN comprovatamente stabili. Sulla base di questi modelli, strategie di controllo model-based sono poi proposte. Nello specifico, in questa tesi sono considerate architetture di controllo predittivo nonlineare: viene quindi dimostrato che la δISS del modello consente di garantire la stabilità nominale in anello chiuso e, in caso di opportuna progettazione della struttura di controllo, anche la regolazione robusta dell’uscita con errore asintotico nullo. Un approccio alternativo e computazionalmente leggero, basato sul cosiddetto Internal Model Control, è altresì proposto, e le sue proprietà di stabilità in anello chiuso sono discusse. Le prestazioni di queste architetture di controllo sono testate su diversi sistemi nonlineari di benchmark, dimostrando le potenzialità degli approcci proposti. Infine, alcuni problemi fondamentali per l’utilizzo nella pratica di strategie di controllo basate su RNN sono discussi. Nello specifico: la necessità di certificare la sicurezza dei modelli RNN; il loro adattamento in caso di cambiamenti ed alterazioni all’impianto; la definizione di architetture ricorrenti che sfruttino la conoscenza fisica qualitativa dell’impianto per migliorare le prestazioni e l’interpretabilità di questi modelli; infine, il progetto di schemi di controllo che godano di proprietà di robustezza nei confronti dell’incertezza di modello.