Learning-based model predictive control: theory and applications

This thesis deals with the problem of controlling and optimizing the behavior of a system, by means of the design of a suitable regulator, starting from a dataset collected on the system itself. In the literature this issue is generally addressed by clearly distinguishing the model identification and control design phases. On the contrary, Part I of the thesis is devoted to the development of a learning algorithm for identification and control design that considers these two steps in an integrated manner. The model identification phase considers a number of independent models, each tailored to predict the p steps ahead output value, and is based on a Set Membership [138] algorithm. Thanks to these models, it is possible to derive an uncertainty model for a 1-step state space representation directly from data, then applicable to the design of a robust model predictive controller, inspired by the tube-based philosophy [135]. In Part II of the thesis we consider neural networks, which are meeting an extraordinary popularity in these years, as a surrogate model of the system to be included in an advanced control scheme. In particular, we focus on a couple of Recurrent Neural Networks architectures (RNNs), namely Echo State Networks (ESN) and Long Short-Term Memory Networks (LSTM), both of which are widely used for several tasks, but not as much for control objectives. In the literature, neural networks are generally investigated empirically and their properties are obtained by means of a multitude of experiments, rather than by theoretical analysis. In this thesis, we instead analyze their stability-related system theoretical properties, and derive sufficient conditions for their Incremental input-to-state stability (δISS, [14]) property; then, we design asymptotically convergent observers and stabilizing model predictive control schemes, eventually tested in simulation. With reference to Echo State Networks, a particular focus is also devoted to their nonstandard training algorithm, with respect to which three variants are proposed: a model order reduction, a training algorithm with stability guarantees, and a training algorithm with probabilistic guarantees based on the Scenario theory [31]. Finally, Part III deals with a real case study, concerning the cooling station serving a large business center in Milan. A dataset of the plant is available, but a lot of information is missing about the plant, which prevents the derivation of a model through physical equations. For this reason, a semi-physical model is first derived, by considering black-box correlations and basic balance equations where possible, in order to take advantage of the little available information. Then, since this model turns to be intractable for control design, a learning-based approach is pursued, a model based on LSTM is learned, and embedded in a Model Predictive Control (MPC) scheme, with linearization along predicted trajectories to lighten the computational burden. The numerical results, tested on the semi-physical model confirm the effectiveness of the learning-based approach.

Questa tesi affronta il problema del controllo e dell'ottimizzazione del comportamento di un sistema, mediante la progettazione di un regolatore adeguato, a partire da un set di dati raccolti sul sistema stesso. In letteratura questo problema viene generalmente affrontato distinguendo chiaramente le fasi di progettazione dell'identificazione del modello e del controllo. Al contrario, la Parte I della tesi è dedicata allo sviluppo di un algoritmo di apprendimento per la progettazione di identificazione e controllo che considera queste due fasi in modo integrato. La fase di identificazione del modello prende in considerazione un insieme di modelli indipendenti, ciascuno su misura per prevedere il valore di output p, e si basa su un algoritmo Set Membership [138]. Grazie a questi modelli, è possibile derivare un modello di incertezza per una rappresentazione dello spazio di stato ad un passo avanti direttamente dai dati, quindi applicabile alla progettazione di un controllore predittivo robusto, ispirato alla filosofia tube-based [135]. Nella parte II della tesi consideriamo le reti neurali, che stanno godendo di una straordinaria popolarità in questi anni, come un modello surrogato del sistema da includere in uno schema di controllo avanzato. In particolare, ci concentriamo su un paio di architetture di reti neurali ricorrenti (RNN), vale a dire Echo State Networks (ESN) e Long Short-Term Memory Networks (LSTM), entrambe ampiamente utilizzate per diverse attività, ma non tanto per obiettivi di controllo. In letteratura, le reti neurali sono generalmente studiate empiricamente e le loro proprietà sono ottenute mediante una moltitudine di esperimenti, piuttosto che mediante analisi teoriche. In questa tesi, invece, analizziamo le loro proprietà teoriche del sistema relative alla stabilità e ricaviamo condizioni sufficienti per la loro proprietà di stabilità incrementale input-to-state (δISS, [14]); quindi, progettiamo osservatori asintoticamente convergenti e schemi di controllo predittivo del modello con asintotica stabilità garantita, infine testati in simulazione. Con riferimento alle Echo State Networks, un focus particolare è anche dedicato al loro algoritmo di training non standard, rispetto al quale vengono proposte tre varianti: un algoritmo di riduzione dell'ordine del modello, un algoritmo di training con garanzie di stabilità e un algoritmo di training con garanzie probabilistiche basato sullo Scenario approach [31]. Infine, la Parte III tratta un caso di studio reale, relativo alla stazione di raffreddamento che serve un grande centro commerciale a Milano. È disponibile un set di dati dell’impianto, ma mancano molte informazioni sullo stesso, il che impedisce la derivazione di un modello attraverso equazioni fisiche. Per questo motivo, per prima cosa viene derivato un modello semi-fisico, considerando laddove possibile le correlazioni in black box e le equazioni di bilancio di base, al fine di sfruttare le poche informazioni disponibili. Quindi, poiché questo modello diventa intrattabile per la progettazione del controllo, viene perseguito un approccio basato sull'apprendimento, viene appreso un modello basato su LSTM e incorporato in uno schema Model Predictive Control (MPC), con linearizzazione lungo traiettorie previste per alleggerire il costo computazionale. I risultati numerici, testati sul modello semi-fisico, confermano l'efficacia dell'approccio basato sull'apprendimento.