Beyond full rationality: modeling tradeoff dynamics in multi-objective water management

Anthropocene denotes the scale and intensity of the anthropic influence on natural processes and ecosystems. Recent trends in the scientific literature on natural resources acknowledge this issue by putting forward the concept of Coupled Human-Natural System (CHNS). It denotes systems where the human and natural components are so entangled that a correct assessment of system resilience or sustainability require a comprehensive study of both parts. Within the human component, a crucial role is played by decision making, which mediates human interactions at the various levels of system governance, ranging from institutional to operational decisions that directly impact the natural resource. Modeling of decision making has been a daunting challenge for researchers. However, they developed various approaches, among which the normative approach. In the normative approach, it is assumed that an agent’s decisions seek to rationally achieve a certain goal. The rationality hypothesis enabled a plethora of theoretical studies in various fields, e.g., economics, or optimal control theory, which supported the broad adoption of this modeling approach to provide prescriptions. However, the same hypothesis has been strongly criticized on the basis of empirical evidence of behavior deviations. In particular, full rationality have thwarted modelers’ efforts to deal with systems operated for multiple objectives. In these systems, the operating policy has to balance multiple goals, by reflecting the preferences of the decision maker and/or of the stakeholders. Another issue arises from the time dynamics of the tradeoff and preferences that are unlikely to remain stationary but are instead adjusted in response to various changes. Triggers of the change may be exogenous influences that modify the conditions at the system boundary, or extreme events, such as floods or droughts, originated by the inherent variability within the system. The objective of this thesis is to advance algorithms adopting the normative approach to develop behavioral models of system operators. The proposed algorithms are able to cope with tradeoffs among multiple objectives, and with the time evolution of preferences. A first effort has been devoted to formalize the modeling of multiple objectives by recognizing the inherent uncertainty in their formulation. This leads us to adopt the idea of rival framings, each representing a set of objectives formulations, to rationalize the search for the candidate set of objective functions that represents the operator of the modeled system. On this premise, we then propose two different algorithms to identify the tradeoff among the multiple objectives that best represents the historical operations in the modeled CHNS. The first algorithm adopts Inverse Reinforcement Learning to efficiently identify a set of weights that measure the preferences of the system operator as they can be presumed by a time series of system operations. This algorithm is able to achieve high quality, above 0.9 goodness-of-fit, in a synthetic application. We also applied it to a real case study, effectively improving the operator’s behavioral model with respect to single-objective counterparts. Moreover, we were able to quantify the effect of an exogenous transition on the system in terms of change in the weights of operating objectives. We also developed a second algorithm for tradeoff identification, inspired by multi-agent negotiation protocols, called Set-based Egocentric Concession protocol (SEC). Operator’s behavioral models identified with this algorithm prove to be accurate, as we tested on a synthetic case study. Moreover, SEC identifies the tradeoff as a function of a set of parameters, named attitudes, that can be used to model tradeoff evolution in time. To this end, we propose an autoregressive model of attitude evolution driven by the recent system performance as they reflect the extreme variability of the system, e.g., in terms of droughts and floods. We found this model a promising start to explain the evolution of the tradeoff of a timeserie of decisions with dynamic preferences, developed for the synthetic case study. More significantly, we framed the testing of the proposed model of preference evolution in a scientific approach that has significant implications for the construction of reliable projections of the future evolutions of chns.

L’antropocene, il nome dell’attuale era geologica, sottolinea la scala e l’intensità dell’influenza antropica sui processi naturali e sugli ecosistemi. I recenti sviluppi della letteratura scientifica sulle risorse naturali tengono conto di questa influenza con il concetto di Coupled Human-Natural System (CHNS). Questo concetto si riferisce a quei sistemi dove le componenti antropiche e naturali sono così interconnessi da necessitare uno studio comprensivo di entrambe le parti per valutare correttamente la resilienza o la sostenibilità del sistema. All’interno della componente antropica, i processi decisionali svolgono un ruolo cruciale, essendo parte di ogni interazione umana ai vari livelli della governance, dalle decisioni istituzionali fino alle scelte operative che direttamente impattano sul destino della risorsa naturale. La modellizzazione dei processi decisionali ha da sempre messo in difficoltà i ricercatori. Ciò nonostante, sono stati sviluppati diversi approcci, tra cui il cosiddetto approccio normativo. Nell’approccio normativo, le decisioni di un certo agente sono razionalmente volte al raggiungimento di un obiettivo. L’ipotesi di razionalità ha aperto la strada a numerosi studi teorici in vari campi, dall’economia alla teoria del controllo ottimo, che hanno supportato l’adozione di questo approccio modellistico per delineare prescrizioni gestionali. Tuttavia, la medesima ipotesi è stata fortemente criticata sulla base di prove empiriche delle deviazioni comportamentali. In particolare, l’ipotesi di completa razionalità ha rallentato gli sforzi volti a modellizzare i sistemi gestiti secondo molteplici obiettivi. In questi sistemi, la politica operativa deve bilanciare più obiettivi, riflettendo le preferenze del decisore e/o dei portatori d’interesse. Un altro problema per l’ipotesi di completa razionalità nasce dalla dinamica temporale del bilanciamento tra obiettivi e delle preferenze, che molto raramente rimangono stazionari ma vengono invece adattati in risposta ai cambiamenti. Questi possono essere innescati da influenze esogene che modificano le condizioni al contorno, oppure da eventi estremi come piene o siccità, che nascono invece dall’intrinseca variabilità del sistema. L’obiettivo di questa tesi è di sviluppare ed estendere algoritmi che adottano l’approccio normativo per comporre modelli comportamentali degli operatori dei sistemi. Gli algoritmi proposti sono in grado di gestire il bilanciamento di molteplici obiettivi e l’evoluzione temporale delle preferenze. Un primo sforzo è stato dedicato a formalizzare la modellizzazione di molteplici obiettivi, riconoscendo l’incertezza intrinseca alla loro formulazione. Partendo da questa consapevolezza, si è adottata l’idea dei cosiddetti rival framings, ovvero cornici interpretative alternative, ciascuna rappresentante un insieme di obiettivi e loro formulazioni. Questo approccio razionalizza la ricerca della rappresentazione delle funzioni obiettivo che meglio riproducono l’operatore del sistema oggetto del modello. A partire da questo fondamento, vengono proposti due differenti algoritmi che identificano quel bilanciamento tra molteplici obiettivi che meglio rappresenta la serie storica di gestione del sistema CHNS modellizzato. Il primo algoritmo si serve dell’apprendimento per rinforzo inverso per identificare efficientemente un insieme di pesi numerici che misurano le preferenze dell’operatore del sistema così come possono essere desunte da una serie temporale di misure delle azioni operative. Tale algoritmo ottiene prestazioni di alta qualità, riproducendo oltre il 90% della serie di calibrazione in un’applicazione sintetica. L’algoritmo è stato applicato anche ad un caso reale, ottenendo un miglioramento del modello comportamentale dell’operatore rispetto ad una controparte a singolo obiettivo. Inoltre, ha permesso di quantificare l’effetto di una transizione esogena che ha interessato il sistema in termini di cambiamento dei pesi relativi agli obiettivi operativi. È stato anche sviluppato un secondo algoritmo per l’identificazione del bilanciamento, ispirato ai protocolli di negoziazione multiagente, chiamato Set-based Egocentric Concession protocol (SEC). I modelli comportamentali degli operatori identificati con questo algoritmo si sono rivelati accurati, così come dimostrato dall’applicazione ad un caso di studio sintetico. Inoltre, SEC permette di identificare il bilanciamento degli obiettivi in funzione di certi parametri, chiamati attitudini, che possono servire come base per modellizzare l’evoluzione temporale del bilanciamento. Riguardo quest’ultimo scopo, viene proposto in questo lavoro di tesi un modello autoregressivo dell’evoluzione temporale delle attitudini in funzione delle prestazioni recenti del sistema, le quali riflettono l’estrema variabilità del sistema, per esempio in termini di piene o magre. Tale modello si è dimostrato essere un primo promettente passo verso la spiegazione dell’evoluzione temporale del bilanciamento tra gli obiettivi, qui verificato per il caso di studio sintetico su una serie temporale di decisioni costruita con preferenze dinamiche. Non solo, la sperimentazione e lo sviluppo di questo modello dell’evoluzione temporale delle preferenze sono stati affrontati con un approccio scientifico che ha significative conseguenze sullo sviluppo e la costruzione di proiezioni credibili dell’evoluzione futura di chns.