Application of direct policy search to the management of a multy-reservoir system : a study of the Nile river

From a theoretical point of view, the application of Bellman stochastic dynamic programming (SDP) allows finding the optimal control (OC) policy of a natural resources management problem. However, its practical application to real problem is not always possible mainly due to the complexity of the model of the system, the number of variables to be taken into account and multiple conflicting objectives. This thesis work proposes an alternative approach to an OC problem using artificial neural networks (ANNs) to overcome SDP issues. In particular, this work describes the direct policy search (DPS) method and compares its results with the regression-based implicit stochastic optimization (ISO) approach. The first method solves the OC problem in a single step, obtaining the efficient parametrization of the operating policy. The regression-based algorithm, on the other hand, looks for the optimal open-loop decisions for many given scenario and uses the obtained dataset to identify the closed-loop policy. Another crucial topic of this work is the importance of information used as input of the control laws and the outcome deriving from a different degree of completeness. The proposed case of study is the Nile River Basin circumscribed to two management objectives: minimization of the irrigation water deficit and maximization of the hydropower energy production.

Da un punto di vista teorico, l’applicazione della programmazione dinamica stocastica (SDP) di Bellman permette di trovare la politica di controllo ottimo per la gestione di un sistema naturale. Tuttavia l’applicazione pratica di questo algoritmo non è sempre possibile per via della complessità del sistema, del numero di variabili da considerare e la molteplicità degli obiettivi contrastanti. Questo lavoro propone un approccio alternativo al problema di ottimizzazione utilizzando reti neurali artificiali (ANN) per superare i problemi riscontrati con la SDP. Nello specifico viene descritta la ricerca diretta della politica (Direct Policy Search). I risultati di questa metodologia vengono paragonati con quelli ottenuti tramite la regressione di politiche generate tramite ottimizzazione stocastica implicita (ISO). Particolare importanza viene data all’informazione utilizzata come ingresso alle leggi di controllo e come variano i risultati di conseguenza. Il caso di studio preso in esame è il bacino del Nilo per il quale sono stato identificati due obiettivi: minimizzare il deficit idrico delle coltivazioni e massimizzare l’energia idroelettrica prodotta.