Feature Representation Learning in complex water decision making problems

The success of a control policy highly relies by its feature representation, i.e., the information set it is conditioned upon. In real world control problems, defining an appropriate feature representation is a complex task, given the coexistence of multiple interacting processes whose relevance for the control task is often unclear. In this thesis, we address the control problem of water resources systems, where a dam release policy is designed accounting for multiple water demands. This decisional problem is challenged by the presence of non-linearities, strong disturbances, possible alternative problem framings, and multiple conflicting objectives. Currently, the control rules of most water reservoirs are conditioned upon basic information systems comprising reservoir storage and time index, however, the value of a more informative feature representation is generally undisputed. We capitalize on recent advances in monitoring and forecasting water availability to develop novel feature representation learning strategies to enhance water systems resilience towards their crucial vulnerabilities, including droughts, critical phases in reservoir development (i.e., construction and filling), and multisectoral conflicts. Additionally, in multi-purpose systems, different control targets might be heterogeneous in their dynamics and vulnerabilities, and likely benefit from a tailored feature representation that varies across different objectives tradeoffs. We revise current literature on feature representation learning, and propose a taxonomy comprising a priori, a posteriori, and online approaches. For each approach, we propose novel contributions targeting the control problem of multipurpose water systems. Among the methodological contributions included in this thesis, (1) we propose FRIDA, a feature extraction-based framework to design basin-tailored drought indexes, and (2) we employ FRIDA index to inform water reservoir operations; (3) we extend the concepts of feature representation learning beyond pure control applications to a problem of dam planning and filling; (4) we use Artificial Intelligence to capture the state of multiple climate signals to improve seasonal forecast in a framework named CSI; (5) we propose an original multi-objective neuro-evolutionary algorithm, NEMODPS, that evolves tradeoff-tailored policy architectures, and (6) we combine it with a feature selection routine to learn a policy representation online and tradeoff-dynamically. A common thread of the outcomes generated in this collection of works is that learning an appropriate policy information set is an asset to improve water system performance, especially by targeting its most critical failures. Specifically, by mitigating the damages associated with hydrological extremes (e.g., drought emergencies), critical stages reservoir development (i.e., construction and filling), and social tensions deriving from conflicts between different users and their demands. Part of this research has appeared (or will appear) in the following journal publications:(1) Zaniolo, M., Giuliani, M., Castelletti, A.F., Pulido-Velazquez, M., 2018b. Automatic design of basin- specific drought indexes for highly regulated water systems. Hydrology and Earth System Sciences 22, 2409-2424. (Capitolo 2); (2) Zaniolo, M., Giuliani, M., Castelletti, A., 2019. Data-driven modeling and control of droughts. IFAC- Papers On Line 52, 54-60. (Chapter 3);. (3) Zaniolo, M., Giuliani, M., Burlando, P., Castelletti, A., 2020a When timing matters - misdesigned dam filling impacts hydropower sustainability. Nature Sustainability (under review). (Capitolo 4); (4) Giuliani, M., Zaniolo, M., Castelletti, A., Davoli, G., Block, P., 2019. Detecting the state of the climate system via artificial intelligence to improve seasonal forecasts and inform reservoir operations. Water Resources Research 55, 9133-9147. (Capitolo 5); (5) Zaniolo, M., Giuliani, M., Castelletti, A., 2020b. Neuro-evolutionary direct policy search for multi-objective optimal control. IEEE transactions on neural networks and learning systems (under review). (Capitolo 6); (6) Zaniolo, M., Giuliani, M., Castelletti, A., 2020c. Dynamic retrieval of informative inputs for multi-sector reservoir policy design with diverse spatiotemporal objective scales. Environmental Modeling and Software (in preparation). (Capitolo 7).

Il successo di una politica di controllo dipende fortemente dalla sua rappresentazione, ovvero dall'insieme di variabili con cui è informata. In problemi di controllo nel mondo reale, la definizione di una rappresentazione appropriata è un compito complesso, data la coesistenza di più processi interagenti la cui rilevanza per il problema di controllo è spesso poco chiara. In questa tesi, affrontiamo il problema di controllo dei sistemi di risorse idriche, in cui una politica di rilascio della diga è progettata tenendo conto di molteplici domande idriche. Questo problema decisionale è complicato dalla presenza di non linearità, forti disturbi, possibili formulazioni alternative del problema, e molteplici obiettivi contrastanti. Attualmente, le regole di controllo della maggior parte dei bacini idrici sono condizionate su sistemi informativi basilari che considerano l'invaso del serbatoio e un indice del tempo, d'altra parte, il valore di una rappresentazione della politica più ricca e informativa è generalmente indiscusso. Sfruttiamo i recenti progressi nel monitoraggio e nella previsione della disponibilità di acqua per sviluppare nuove strategie di apprendimento della rappresentazione della politica per migliorare la resilienza dei sistemi idrici rispetto a vulnerabilità cruciali tra cui siccità , fasi critiche nello sviluppo di serbatoi (ad esempio costruzione e riempimento), e conflitti tra diversi settori. Inoltre, nei sistemi caratterizzati da molteplici usi della risorsa idrica, diversi obiettivi di controllo potrebbero essere eterogenei nelle loro dinamiche e vulnerabilità, e dunque trarre vantaggio da una rappresentazione delle caratteristiche su misura che varia a seconda dei diversi obiettivi. Analizziamo la letteratura recente sull'apprendimento della rappresentazione della politica, e proponiamo una tassonomia che comprende approcci a priori, a posteriori, e online. Per ogni approccio, proponiamo contributi metodologici originali, mirati al problema del controllo dei sistemi idrici a molti-obiettivi. Tra i contributi metodologici inclusi in questa tesi, (1) proponiamo FRIDA, una procedura basata sull'estrazione di variabili per progettare indici di siccità di bacino su misura, e (2) impieghiamo l'indice FRIDA per informare le operazioni di gestione di una diga; (3) estendiamo i concetti di apprendimento della rappresentazione della politica oltre applicazioni di puro controllo a un problema di pianificazione e riempimento di un serbatoio idrico artificiale; (4) utilizziamo tecniche di Intelligenza Artificiale per analizzare lo stato di diversi segnali climatici per migliorare le previsioni stagionali, secondo una procedura originale chiamata CSI; (5) proponiamo un nuovo algoritmo neuro-evolutivo a molti obiettivi, NEMODPS, che evolve un' architettura della politica su misura per gli obiettivi e relativi compromessi; (6) combiniamo NEMODPS con una strategia di selezione di variabili che apprende una rappresentazione della politica online, e dinamica rispetto agli obiettivi. Un filo conduttore dei risultati generati in questa raccolta di lavori è che l'apprendimento di un adeguato set di informazioni per informare la politica si configura come una valida risorsa per migliorare le prestazioni del sistema idrico, in particolare rispetto alle sue vulnerabilità più critiche. Nello specifico, mitigando i danni associati agli estremi idrologici (ad esempio le siccità), fasi critiche di sviluppo del serbatoio (costruzione e riempimento), e tensioni sociali derivanti da conflitti tra i diversi utenti idrici. Parte della ricerca presentata in questa tesi è apparsa, o apparirà, nelle seguenti pubblicazioni: (1) Zaniolo, M., Giuliani, M., Castelletti, A.F., Pulido-Velazquez, M., 2018b. Automatic design of basin- specific drought indexes for highly regulated water systems. Hydrology and Earth System Sciences 22, 2409-2424. (Capitolo 2); (2) Zaniolo, M., Giuliani, M., Castelletti, A., 2019. Data-driven modeling and control of droughts. IFAC- Papers On Line 52, 54-60. (Chapter 3);. (3) Zaniolo, M., Giuliani, M., Burlando, P., Castelletti, A., 2020a When timing matters - misdesigned dam filling impacts hydropower sustainability. Nature Sustainability (under review). (Capitolo 4); (4) Giuliani, M., Zaniolo, M., Castelletti, A., Davoli, G., Block, P., 2019. Detecting the state of the climate system via artificial intelligence to improve seasonal forecasts and inform reservoir operations. Water Resources Research 55, 9133-9147. (Capitolo 5); (5) Zaniolo, M., Giuliani, M., Castelletti, A., 2020b. Neuro-evolutionary direct policy search for multi-objective optimal control. IEEE transactions on neural networks and learning systems (under review). (Capitolo 6); (6) Zaniolo, M., Giuliani, M., Castelletti, A., 2020c. Dynamic retrieval of informative inputs for multi-sector reservoir policy design with diverse spatiotemporal objective scales. Environmental Modeling and Software (in preparation). (Capitolo 7).