Advanced model predictive control of water reservoir systems

In this thesis project, we developed advanced MPC (Model Predictive Control) techniques in water resources management. Controlling one or more water basins means managing multiple objectives simultaneously, typically in conflict with each other. The controller must satisfy the water demand of downstream agricultural districts and protect coastal cities from damage caused by flooding during the rainiest periods. The regulator is also responsible for preventing dry conditions of the water basin itself as they can cause an impediment to the normal functioning of river and lake transport, which can lead to indirect economic losses due to lower tourist attractiveness. Furthermore, if the basin corresponds to a hydroelectric power production plant, it is the controller's responsibility to maximize its yield. The combined management of all these control objectives highlights the complexity of the problem. However, it is necessary to add a further complicating factor in regulating this type of system: the disturbance entering the system represented by the inflow to the basin. This quantity is difficult to measure due to the countless sources from which it comes. The inflow depends on meteorological phenomena, large-scale climatic phenomena, and the management of any upstream basins, which may be independent of the management of the basin for which the controller must be designed. During the thesis project, we developed predictive control methodologies in this panorama that could include these delicate aspects in the design phase. Starting from an MPC control architecture with hourly resolution and assuming we have perfect knowledge of the inflows, we demonstrate the approach's effectiveness in the control of lake Como by outperforming the historical regulation and being able to track the ideal performance of a DDP controller. Subsequently, still working on lake Como, we removed the hypothesis of perfect knowledge of the inflows and concentrated on designing control architectures that could manage them. Initially, we proposed a Scenario MPC architecture, in which we optimize the control action based on a set of possible system evolutions derived from scenarios identification on historical data. This solution provides robust control that statistically outperforms deterministic counterparts relying on a single prediction model. Subsequently, we treated the same problem by changing perspective: inserting the best possible model into the prediction model, which we demonstrate is not necessarily the best model identified on the data but is undoubtedly the best model to use in a closed loop. To find this model, we select within a chosen class the one that minimizes a cost given by the combination of the identification of historical data and the performance obtainable using that model on a backtesting window within the control scheme. We demonstrate that the methodology is particularly effective compared to traditional identification and control methods. We validate the performance on lake Como based on six years of actual data, demonstrating its particular effectiveness in dry periods. The thesis project continues by trying to answer the question: Is it possible to integrate an optimization of the cost function parameters from a multi-objective perspective into the MPC formulation? To answer this question, we designed a control architecture that automatically calibrates the combination of weights that constitute the cost function through Bayesian Optimization to maximize the quality of the Pareto frontier. At each interaction, we simulate the effect of the control action of a set of identical controllers except for the combination of weights of their cost function. This allows us to obtain a Pareto frontier in simulation, evaluated via multi-objective metrics and progressively improved according to the convergence of Bayesian Optimization. This solution can overcome the limitations of equivalent approaches in the literature since it guarantees convergence of the calibration algorithm. We demonstrate that it outperforms the benchmark counterparts in control performance over six years of simulation. The case study of this methodology is the Red River system, a complex combination of interconnected water reservoirs and irrigation channels. The system's complexity requires using an internal model for the MPC, which can capture the input/output relations of the original system while maintaining the possibility of expressing the Jacobians explicitly to be included in the prediction model effectively. The architecture identified that respects these constraints is the Neural States Space. As far as we know, this represents a unique example in the literature for predictive control in water resources. Finally, in this thesis, we discuss a further development of an advanced predictive control technique in the context of water resources, applied to lake Como, aiming to respond to a need: guaranteeing optimal control of the regulated basin even in the event of cyber threats, specifically Denial-of-Service attacks. This need arises from the awareness that these infrastructures represent a privileged target in an international cyber warfare context. Our proposed architecture consists of 2 MPC controllers tackling 2 different optimization problems at the same time. The first primary controller determines an optimal control action that balances system performance with the deviation from the control action calculated by the second controller. The second controller assumes that system control will be handed over to a hacker at the next time step for the remainder of the prediction horizon. Specifically, the aggressor is assumed to maximize the system's damage (i.e., in a cyber warfare context, its goal is sabotaging the targeted infrastructure). Consequently, the attacker's optimization problem is adversarial, seeking to achieve the opposite of the optimal control regulator solution at each time step. Recognizing that it is not trivial to correctly balance the relative weight of the safe component concerning the performance component within the main controller, we find that the best solution is to calibrate this weight online, called the resilience factor, identifying it by training a Hawkes process on historical series of attack occurrences, improving the estimate of the return time of the next attack and adjusting resilience accordingly. We validate the architecture in two attack scenarios. We outperform our counterparts in both cases based on the exclusive focus on performance or security. In summary, this doctoral thesis offers the scientific community an in-depth study of the problems of water resource management and how these problems have been addressed through the development of MPC architectures, with increasing complexity, treating the management of disturbances from a robust and from a control-oriented perspective, addressing the issue of multi-objective optimization and the critical role that regulated basins play as strategic infrastructures of national importance.

In questo progetto di tesi andiamo a sviluppare tecniche di controllo MPC (Model Predictive Control) avanzate nel contesto della gestione di risorse idriche. Controllare uno o più bacini idrici significa dover gestire contemporaneamente molteplici obiettivi, tipicamente in conflitto tra loro. Il controllore deve soddisfare la domanda agricola di eventuali distretti a valle del bacino, e preservare le città costiere dal subire danni legati a fenomeni di allagamento nei periodi più piovosi. Il regolatore inoltre ha la responsabilità di prevenire eventuali condizioni di secca del bacino idrico stesso in quanto possono essere causa di impedimento al normale funzionamento dei trasporti fluviali e lacustri, che possono condurre ad indirette perdite economiche per via di una minore attrattività turistica. Inoltre, se al bacino corrisponde una centrale di produzione di potenza idroelettrica è responsabilità del controllore massimizzarne la resa. La gestione combinata di tutti questi obiettivi di controllo rende evidente la complessità del problema. È necessario però aggiungere un ulteriore fattore di complicazione nella regolazione di questo tipo di sistemi, ossia il disturbo in ingresso al sistema rappresentato dall'afflusso al bacino. Tale quantità, infatti, è di difficile misurazione per via delle innumerevoli sorgenti da cui essa proviene. L’afflusso, infatti, dipende da fenomeni meteorologici, fenomeni climatici su larga scala, e dalla gestione di eventuali bacini a monte che possono essere indipendenti dalla gestione del bacino di cui si deve progettare il controllore. In questo panorama, durante il progetto di tesi abbiamo sviluppato metodologie di controllo predittivo che fossero in grado di includere in fase di design questi delicati aspetti. Partendo da un'architettura di controllo MPC con risoluzione oraria e assumendo di avere perfetta conoscenza degli afflussi, dimostriamo l'efficacia dell'approccio sul controllo del lago di Como surclassando in performance la regolazione storica ed essendo in grado di inseguire le performance ideali di un controllore DDP. Successivamente, sempre lavorando sul lago di Como, abbiamo rimosso l'ipotesi di perfetta conoscenza degli afflussi e ci siamo concentrati sul disegnare architetture di controllo che fossero in grado di gestire gli stessi. Inizialmente proponiamo una architettura MPC a scenario, in cui ottimizziamo l'azione di controllo sulla base di un'insieme di possibili evoluzioni del sistema derivanti da scenari del disturbo identificati partendo dei dati storici. Questa soluzione fornisce un controllo robusto che supera statisticamente le controparti deterministiche, che si appoggiano su un unico modello di predizione. In seguito, abbiamo trattato lo stesso problema cambiando prospettiva: inserire all'interno del modello di predizione il miglior modello possibile, che dimostriamo non essere necessariamente il miglior modello identificato sui dati ma che è sicuramente il miglior modello da usare in anello chiuso. Per trovare questo modello andiamo a selezionare all'interno di una classe scelta quello che minimizza un costo dato dalla combinazione dell'identificazione sui dati storici e delle performance ottenibili usando quel modello su una finestra di backtesting all’interno dello schema di controllo. Dimostriamo che la metodologia è particolarmente efficace se comparata con metodi tradizionali di identificazione e poi controllo. Validiamo le performance su sei anni di dati reali sul lago di Como, dimostrandone la peculiare efficacia nei periodi di secca. Il progetto di tesi prosegue cercando di rispondere alla domanda: è possibile integrare all'interno della formulazione MPC una ottimizzazione dei parametri della funzione di costo in ottica multi-obiettivo? Nel rispondere a questa domanda abbiamo ideato un'architettura di controllo che va a tarare automaticamente tramite Ottimizzazione Bayesiana la combinazione dei pesi che costituisce la funzione di costo tramite la massimizzazione della qualità della frontiera di Pareto. Ad ogni interazione andiamo a simulare tramite un set di controllori, identici a meno della combinazione di pesi della propria funzione di costo, l'effetto simulato dell'azione di controllo di questi controllori. Ciò ci permette di ottenere una frontiera di Pareto in simulazione che viene valutata tramite metriche multi-obiettivo e progressivamente migliorata secondo la convergenza dell'Ottimizzazione Bayesiana. Questa soluzione è in grado di superare le limitazioni di approcci equivalenti presenti in letteratura dal momento che garantisce convergenza dell'algoritmo di taratura e dimostriamo che supera in performance di controllo su sei anni di simulazione le controparti benchmark. Il caso di applicazione di questa metodologia è il sistema del Red River, una complessa combinazione di bacini idrici e canali irrigui interconnessi. La complessità del sistema è tale da imporre l'impiego di un modello interno per l'MPC che sia in grado di catturare le relazioni ingresso/uscita del sistema originale mantenendo la possibilità di esprimerne i Jacobiani in maniera esplicita in modo da poterlo includere efficacemente nel modello di predizione. L'architettura individuata che rispetta questi vincoli è la Neural States Space. Per quanto è in nostra conoscenza questo rappresenta un unicum nella letteratura del controllo predittivo in ambito risorse idriche. Ad ultimo, in questa tesi esponiamo un ulteriore sviluppo di tecnica di controllo predittivo avanzato nel contesto delle risorse idriche e applicata al lago di Como che mira a risponde che ad un'esigenza: garantire il controllo ottimo del bacino regolato anche nel caso in cui questo fosse soggetto a minacce cyber di tipo Denial-of-Service. Questa necessità nasce dalla consapevolezza che tali infrastrutture rappresentano un bersaglio previlegiato in un contesto di cyberwarfare internazionale. L'architettura che proponiamo è costituita da due controllori MPC che risolvono simultaneamente due problemi di ottimizzazione. Il primo, il principale, è responsabile di fornire un'azione di controllo ottima rispetto al bilanciamento di performance di controllo e di un termine che pesa la distanza dell'azione di controllo rispetto al controllo del secondo controllore, che invece assume che dall'istante successivo in avanti, lungo l'orizzonte di predizione, il controllo del sistema passerà in mano all'attaccante. Nel dettaglio, noi assumiamo che l'attaccante abbia interesse a massimizzare i danni causati al sistema, pertanto consideriamo che l'attaccante risolva ad ogni istante un problema di ottimizzazione avversario, ossia uguale e opposto a quello risolto dal controllo ottimo. Riconoscendo che non è banale bilanciare correttamente all'interno del controllore principale il peso relativo della componente safe rispetto alla componente di performance, troviamo che la soluzione migliore è andare a tarare online questo peso, chiamato fattore di resilienza, identificandolo addestrando un processo di Hawkes sulla serie storica delle occorrenze degli attacchi andando a migliorare la stima del tempo di ritorno del prossimo attacco e regolando di conseguenza la resilienza. Validiamo l'architettura in due scenari di attacco. In entrambi i casi superiamo le controparti, basate sul focus esclusivo di performance o sicurezza. Riassumendo, questa tesi di dottorato offre alla comunità scientifica uno studio profondo di quelle che sono le problematiche della gestione delle risorse idriche e di come tali problematiche sono state affrontate attraverso lo sviluppo di architetture MPC, a complessità crescente, trattando la gestione dei disturbi in ottica robusta e in ottica control-oriented, affrontando la tematica dell'ottimizzazione multi-obiettivo e del ruolo critico che i bacini regolati ricoprono in quanto infrastrutture strategiche di rilevanza nazionale.