Advancing water reservoir operations via multi-objective reinforcement learning

Water reservoir control presents numerous challenges, particularly with the rise of integrated management approaches that consider multiple aspects of the water system simultaneously. Additionally, in recent decades, optimizing adaptive control strategies has become a crucial topic due to rapidly changing hydrological drivers. The state of the art for reservoir operations is rapidly evolving, thanks to increasing computational power and the development of more efficient methods. Historically, problems have been simplified to fit the constraints of specific solution methods, often failing to address the complexities that real-world water systems exhibit. Our work focuses on the implementation of the Multi-Objective Fitted Q Iteration (MOFQI) algorithm to find Pareto-optimal reservoir control policies. MOFQI is an offline, model-free, and multi-objective control algorithm. To do this we developed a framework that simulates a part of the water system to generate the dataset. We found that exploring the simplex surface randomly keeps the dataset size small and still allows the algorithm to converge in the objectives space. To estimate the Q-function we used an Extra-Trees regressor, the model trained in a single run potentially generates a continuous approximation of the Pareto front. We evaluated control performance using the hypervolume metric on training and validation trajectory to asses the hyperparameters of the algorithm. The framework is tested on the optimal operation of Lake Como, where three conflicting objectives drive lake regulation: flood and drought control and water supply. We benchmarked MOFQI against Stochastic Dynamic Programming (SDP). Empirical results demonstrate the competitiveness of the proposed framework with state-of-the-art methods in optimal control of the water reservoir. Most of the computational burdens that afflict SDP are overcome by MOFQI. Moreover, this method generates a widespread range of tradeoff Pareto optimal policies by nullifying the curse of multiple objectives. Our research demonstrates how the framework can be enhanced to potentially integrate with larger water systems, given its efficient computing ability that considers multiple states and available external information, such as the day of the year or hydrologic forecasts.

Il controllo dei bacini idrici presenta numerose sfide, in particolare con l'aumento di approcci di gestione integrata che considerano simultaneamente molti aspetti del sistema idrico. Inoltre, negli ultimi decenni, l'ottimizzazione di strategie di controllo adattive è diventato un'argomento cruciale per via dei rapidi cambiamenti dei fattori idrologici. Lo stato dell'arte per le operazioni dei bacini idrici è in rapida evoluzione grazie all'aumento della potenza computazionale e allo sviluppo di metodi più efficienti. Storicamente i problemi sono sempre stati semplificati per soddisfare i vincoli dei metodi di risoluzione, spesso fallendo nell'affrontare le complessità che caratterizzano i sistemi idrici reali. Il nostro lavoro si concentra sull'implementazione dell'algoritmo Multi-Objective Fitted Q Iteration (MOFQI) per trovare politiche Pareto-ottimali per il controllo dei bacini idrici. Per fare ciò, abbiamo sviluppato una procedura che simula una parte del sistema idrico per generare il dataset. Abbiamo scoperto che l'esplorazione distribuita casualmente sulla superficie del simplesso mantiene ridotte le dimensioni del dataset e permette comunque all'algoritmo di convergere nello spazio degli obiettivi. Per stimare la funzione Q abbiamo usato come regressori gli Extra-Trees, il modello calibrato in un'unica esecuzione potenzialmente genera un'approssimazione continua della frontiera di Pareto. Abbiamo valutato la prestazione del controllo con la metrica dell'ipervolume sulle traiettorie di addestramento e validazione per determinare gli iperparametri dell'algoritmo. La procedura è testata per il controllo ottimale del Lago di Como in cui tre obiettivi in conflitto guidano la regolazione del lago: il controllo delle esondazioni e delle secche e la fornitura d'acqua. Abbiamo confrontato MOFQI con l'algoritmo Programmazione Dinamica Stocastica (PDS). I risultati empirici dimostrano la competitività della procedura proposta con i metodi allo stato dell'arte per il controllo ottimale dei bacini idrici. La maggior parte dei limiti computazionali che affliggono PDS vengono risolti da MOFQI. Inoltre questo metodo è in grado di generare un'ampia gamma di politiche di compromesso Pareto ottimali annullando il vincolo legato alla formulazione multi-obiettivo. Questo studio dimostra come questa procedura possa essere migliorata e potenzialmente implementata in sistemi idrici più grandi, grazie alla sua efficienza computazionale nel considerare più stati e le informazioni esterne disponibili, come ad esempio il giorno dell'anno o le previsioni idrologiche.