Urban water demand management (UWDM) is crucial for fostering sustainable water management, complementing supply-side strategies. Confronted with the challenges of urbanization, population growth, and climate change, the distribution and availability of water resources are undergoing significant transformations. These changes introduce new challenges to demand-side management, necessitating innovative and tailored approaches to sustainably manage water usage across diverse spatial and temporal scales. The design and implementation of these effective demand management strategies are contingent upon an enhanced understanding and accurate forecasting of demand behaviors and patterns across various scales, as well as their interactions with the external environment. Consequently, there is a burgeoning necessity to develop robust and generalized frameworks that can accurately identify key determinants of demand patterns. By harnessing these determinants, it becomes feasible to enhance the forecasting of future urban water demand (UWD) across various spatial scales, from cities to continents, and temporal scales, from sub-daily to monthly. This improved foresight is critical for supporting informed decision-making and strategic actions in demand management, particularly as it adapts to dynamic urban and environmental changes. Furthermore, as a critical component of water distribution networks (WDNs), the dynamics of water demand have significant implications for the operations of the supply network, serving as integral links between demand and supply management in urban water systems. Accurate demand forecasts enable the optimization of resource allocation and enhance the resilience and efficiency of water distribution, thereby ensuring sustainability in urban water management. Advancement in machine learning (ML) especially deep learning (DL) plays a transformative role in demand modelling, offering the ability to analyze complex data and extract meaningful insights across different scales. Leveraging the enhanced interpretability and predictive capabilities of ML and DL models opens new avenues for refining the precision of demand forecasts. Furthermore, it deepens our understanding of the interactions between external influences and demand patterns. However, the existing research on demand forecasting typically develops models tailored to specific case studies, often neglecting the robustness and generalizability of these models. Moreover, these studies usually focus on a narrow set of external variables, predominantly climatic ones, examining their relationship with water demand. The scope of these models is usually confined to specific urban areas, overlooking the implications for demand forecasting and determinants identification on a larger, more comprehensive spatial scale. Furthermore, despite being recognized as a critical input, the dynamics of demand are seldom examined within real WDNs, limiting our understanding of their influence on network operations. This thesis addresses these critical gaps by proposing frameworks that enhance forecasting model robustness and expand the range of demand determinants identification on a larger spacial scale. Specifically, the contribution of this thesis is three-fold. First, a robust multi-step forecasting framework for short- to medium-term UWD at the city scale is developed. This framework employs advanced DL techniques and hybrid modelling approaches, testing its predictive robustness against unprecedented changes. The numerical results demonstrate that this framework significantly enhances predictive performance, achieving a Nash-Sutcliffe Efficiency (NSE) greater than 0.95 and a Kling-Gupta Efficiency (KGE) exceeding 0.93 for both 1-day and 7-day ahead UWD forecasts. Additionally, the model's performance remains robust under external stressors causing sudden changes in UWD. Second, a comprehensive framework for identifying determinants and forecasting UWD at a continental scale is introduced. Utilizing deep neural Granger causality, this framework enhances model interpretability and conducts extensive evaluations of demand determinants using diverse public data sources. Our findings reveal that city-scale UWD is mainly influenced by short-term memory effects. Additionally, climatic variables, particularly vapor pressure deficit and temperature, emerge as key determinants across all regions, with a pronounced impact in arid areas. Finally, the thesis pioneers an optimal control framework that leverages DL-based UWD forecasts within an economic model predictive control (EMPC) strategy for a large-scale WDN. This innovative integration investigates the impact of forecast accuracy on operational control effectiveness, representing a novel exploration in the field. Our preliminary results indicate that this approach optimizes resource use and reduces energy consumption by up to 2.9% compared to conventional control. DL models, providing more accurate demand forecasts, achieve greater energy savings. In conclusion, this thesis underscores the significant enhancements that can be achieved by incorporating advanced ML and DL techniques into UWD modelling and analysis. By adopting these soft computational methods, this thesis not only reveals key insights into demand patterns but also informs the design of more effective and adaptive management strategies. These strategies are crucial for addressing the challenges of water distribution in changing urban environments, ensuring sustainability and efficiency in water management. Parts of this research have been published (or are forthcoming) in the following conference and journal publications: - Wenjin Hao, Andrea Cominola, and Andrea Castelletti (2022). Comparing predictive machine learning models for short-and long-term urban water demand forecasting in Milan, Italy, IFAC-PapersOnLine 55.33: 92-98. - Wenjin Hao, Andrea Cominola, and Andrea Castelletti (2024a). Combining wavelet-enhanced feature selection and deep learning techniques for multi-step forecasting of urban water demand, Environmental Research: Infrastructure and Sustainability, 4, 035005. - Wenjin Hao, Andrea Cominola, and Andrea Castelletti (2024b). Short-term memory and regional climate drive city-scale water demand in the Contiguous US (under review). - Wenjin Hao, Andrea Cominola, Ina Vertommen, and Andrea Castelletti (2024c). A Water demand forecast-informed framework for optimal control of urban water distribution networks (in preparation).
La progettazione e implementazione di strategie di gestione della domanda idrica urbana sono fondamentali per promuovere un utilizzo sostenibile ed efficiente delle risorse idriche nelle nostre città, dove proiezioni future mostrano traiettorie crescenti di domanda idrica a seguito dei fenomeni di urbanizzazione, crescita e cambiamento demografico e cambiamenti climatici. In risposta a questi fenomeni, una gestione incentrata sulla domanda idrica ha acquisito crescente attenzione nella letteratura scientifica e professionale di settore, andando a completare le più classiche strategie di gestione delle reti di distributione e fornitura idrica. Approcci innovativi e "su misura" sono dunque necessari per gestire in modo sostenibile gli utilizzi dell'acqua su diverse scale spaziali, temporali e tra diversi settori di interesse tenendo conto dei grandi cambiamenti in atto rispetto ai fenomeni di urbanizzatione e cambiamento climatico. Una corretta progettazione ed attuazione di strategie di gestione della domanda idrica dipendono, tuttavia, dal livello di informazione e conoscenza disponibile rispetto ai comportamenti di consumo sia correnti, sia futuri. Di conseguenza, c'è una crescente necessità di sviluppare framework metodologiche e modelli matematici che possano identificare accuratamente i fattori determinanti degli utilizzi idrici e permettano una previsione degli utilizzi futuri. Una migliore conoscenza dei fattori che determinano la domanda idrica e la disponibilità di modelli predittivi sono infatti elementi cruciali al fine di supportare decisioni strategiche per la gestione della risorsa idrica, particolarmente in scenari futuri caratterizzati da ampia incertezza. Oltre ad avere un effetto diretto sulla gestione della domanda idrica, una conoscenza approfondita delle dinamiche di domanda idrica ha anche implicazioni significative per la gestione operativa della rete di approvvigionamento, supportando il controllo ottimo di queste infrastrutture critiche. Previsioni accurate della domanda idrica consentono l'ottimizzazione dell'allocazione delle risorse e migliorano la resilienza e l'efficienza della distribuzione idrica sia in situazioni ordinarie che di emergenza, garantendo così l'affidabilità e la sostenibilità nella gestione delle acque urbane. L'avanzamento nell'apprendimento automatico (machine learning - ML), specialmente nel deep learning (DL), ha acquisito un ruolo trasformativo nello sviluppo di modelli matematici della domanda idrica, offrendo la capacità di analizzare dati complessi ed apprendere le caratteristiche delle curve di domanda a diverse scale direttamente dai dati. Non solo esistono nuovi approcci modellistici per la previsione della domanda idrica. La crescente interpretabilità e le capacità predittive dei modelli ML/DL, inoltre, ha recentemente aperto un nuovo spettro di possibilità ed approcci per migliorare la nostra comprensione di quali variabili influenzino la dinamica e i cambiamenti della domanda idrica urbana. Tuttavia, lo stato dell'arte della ricerca nell'ambito della previsione della domanda idrica è attualmente limitato alla concettualizzazione e calibrazione di modelli matematici di domanda per alcuni casi di studio specifici caratterizzati da specifiche scale spazio-temporali, spesso trascurandone la sensitività, la robustezza e la generalizzabilità. Inoltre, molti studi si concentrano solitamente su un insieme preselezionato di variabili esterne nella costruzione di questi modelli, prevalentemente considerando variabili climatiche, ignorando dunque il potenziale contributo di altre variabili o la rilevanza dell'interazione tra alcune variabili. L'ambito di questi modelli è, inoltre, solitamente limitato a aree urbane specifiche, trascurando le implicazioni per la previsione della domanda e l'identificazione dei determinanti su una scala spaziale più ampia e comprensiva. Infine, lo sviluppo di modelli di previsione della domanda idrica è solitamente disgiunto dalla gestione ottima delle reti di distribuzione idrica, nonostante la domanda idrica ne sia un input critico che spesso viene approssimato con valori costanti o con assunzioni di stazionarietà. Questa tesi si propone l'obiettivo di migliorare l'accuratezza ed interpretabilità dei modelli di previsione della domanda idrica, la loro generalizzabilità a diverse scale spaziali e temporali e la loro integrazione effettiva nel controllo ottimo delle reti di distribuzione, contribuendo al superamento dei gap identificati nello stato dell'arte. Specificamente, il contributo di questa tesi è triplice. Per prima cosa, questa tesi propone una framework metodologica per la previsione multi-step della domanda idrica urbana a breve e medio termine su scala cittadina. Questo framework include tecniche avanzate di DL e approcci di modellazione ibridi, testando la sua robustezza predittiva rispetto a scenari di incertezza. I risultati numerici dimostrano che questo framework migliora significativamente le prestazioni predittive, raggiungendo un'efficienza di Nash-Sutcliffe Efficiency (NSE) superiore a 0,95 e un'efficienza di Kling-Gupta Efficiency (KGE) superiore a 0,93 sia per previsioni a 1 giorno che a 7 giorni per l'domanda idrica urbana. Inoltre, le prestazioni del modello rimangono robuste sotto l'influenza di stressori esterni che causano cambiamenti improvvisi nell'domanda idrica urbana. Il secondo contributo di questa tesi consiste nello sviluppo di un approccio modellistico per l'identificazione dei fattori determinanti per la previsione della domanda idrica urbana su scala continentale. Utilizzando tecniche di "deep neural Granger causality", questa tesi migliora l'interpretabilità dei modelli predittivi di domanda idrica e conduce un'investigazione e valutazione esaustiva dei potenziali determinanti climatici, socio-demografici e autoregressivi della domanda idrica utilizzando esclusivamente dati pubblici combinati da varie fonti ufficiali. I nostri risultati rivelano che la domanda idrica urbana su scala cittadina è principalmente influenzata da effetti di memoria a breve termine. Inoltre, le variabili climatiche, in particolare il deficit di pressione del vapore e la temperatura, emergono come determinanti chiave in tutte le regioni, con un impatto pronunciato nelle aree aride. Infine, la tesi propone un approccio integrato di previsione della domanda idrica con modelli matematici e controllo ottimo delle reti di distribuzione idrica urbana. L'approccio sviluppato sfrutta le previsioni di domanda basate su modelli di deep learning come informazione input per il controllo ottimo di reti di distribuzione idrica a larga scala basato su Economic Model Predictive Control (EMPC). L'approccio integrato proposto indaga l'impatto dell'accuratezza della previsione di domanda sull'efficacia del controllo operativo, rappresentando una novità esplorativa in questo campo. I nostri risultati preliminari indicano che questo approccio ottimizza l'uso delle risorse e riduce il consumo di energia fino al 2.9% rispetto al controllo convenzionale. I modelli di DL, fornendo previsioni di domanda più accurate, ottengono maggiori risparmi energetici. In conclusione, questa ricerca sottolinea i significativi miglioramenti che possono essere ottenuti incorporando tecniche avanzate di ML e DL nell'analisi, modellazione e previsione della domanda idrica urbana. Adottando diversi metodi computazionali, questa tesi non solo rivela intuizioni chiave sui modelli di domanda, ma supporta anche la progettazione di strategie di gestione della domanda più efficaci e flessibili in ottica di adattamento a scenari futuri di cambiamento climatico e urbanizzazione, garantendo sostenibilità, efficienza e sicurezza nella gestione delle risorse idriche urbane. Parti di questa ricerca sono state pubblicate (o sono in corso di pubblicazione) nei seguenti convegni e riviste scientifici: - Wenjin Hao, Andrea Cominola, and Andrea Castelletti (2022). Comparing predictive machine learning models for short-and long-term urban water demand forecasting in Milan, Italy, IFAC-PapersOnLine 55.33 : 92-98. - Wenjin Hao, Andrea Cominola, and Andrea Castelletti (2024a). Combining wavelet-enhanced feature selection and deep learning techniques for multi-step forecasting of urban water demand, Environmental Research: Infrastructure and Sustainability, 4, 035005. - Wenjin Hao, Andrea Cominola, and Andrea Castelletti (2024b). Short-term memory and regional climate drive city-scale water demand in the Contiguous US (under review). - Wenjin Hao, Andrea Cominola, Ina Vertommen, and Andrea Castelletti (2024c). A Water demand forecast-informed framework for optimal control of urban water distribution networks (in preparation).
From forecasting to control: the role of machine learning in urban water demand modelling and management across scales
HAO, WENJIN
2023/2024
Abstract
Urban water demand management (UWDM) is crucial for fostering sustainable water management, complementing supply-side strategies. Confronted with the challenges of urbanization, population growth, and climate change, the distribution and availability of water resources are undergoing significant transformations. These changes introduce new challenges to demand-side management, necessitating innovative and tailored approaches to sustainably manage water usage across diverse spatial and temporal scales. The design and implementation of these effective demand management strategies are contingent upon an enhanced understanding and accurate forecasting of demand behaviors and patterns across various scales, as well as their interactions with the external environment. Consequently, there is a burgeoning necessity to develop robust and generalized frameworks that can accurately identify key determinants of demand patterns. By harnessing these determinants, it becomes feasible to enhance the forecasting of future urban water demand (UWD) across various spatial scales, from cities to continents, and temporal scales, from sub-daily to monthly. This improved foresight is critical for supporting informed decision-making and strategic actions in demand management, particularly as it adapts to dynamic urban and environmental changes. Furthermore, as a critical component of water distribution networks (WDNs), the dynamics of water demand have significant implications for the operations of the supply network, serving as integral links between demand and supply management in urban water systems. Accurate demand forecasts enable the optimization of resource allocation and enhance the resilience and efficiency of water distribution, thereby ensuring sustainability in urban water management. Advancement in machine learning (ML) especially deep learning (DL) plays a transformative role in demand modelling, offering the ability to analyze complex data and extract meaningful insights across different scales. Leveraging the enhanced interpretability and predictive capabilities of ML and DL models opens new avenues for refining the precision of demand forecasts. Furthermore, it deepens our understanding of the interactions between external influences and demand patterns. However, the existing research on demand forecasting typically develops models tailored to specific case studies, often neglecting the robustness and generalizability of these models. Moreover, these studies usually focus on a narrow set of external variables, predominantly climatic ones, examining their relationship with water demand. The scope of these models is usually confined to specific urban areas, overlooking the implications for demand forecasting and determinants identification on a larger, more comprehensive spatial scale. Furthermore, despite being recognized as a critical input, the dynamics of demand are seldom examined within real WDNs, limiting our understanding of their influence on network operations. This thesis addresses these critical gaps by proposing frameworks that enhance forecasting model robustness and expand the range of demand determinants identification on a larger spacial scale. Specifically, the contribution of this thesis is three-fold. First, a robust multi-step forecasting framework for short- to medium-term UWD at the city scale is developed. This framework employs advanced DL techniques and hybrid modelling approaches, testing its predictive robustness against unprecedented changes. The numerical results demonstrate that this framework significantly enhances predictive performance, achieving a Nash-Sutcliffe Efficiency (NSE) greater than 0.95 and a Kling-Gupta Efficiency (KGE) exceeding 0.93 for both 1-day and 7-day ahead UWD forecasts. Additionally, the model's performance remains robust under external stressors causing sudden changes in UWD. Second, a comprehensive framework for identifying determinants and forecasting UWD at a continental scale is introduced. Utilizing deep neural Granger causality, this framework enhances model interpretability and conducts extensive evaluations of demand determinants using diverse public data sources. Our findings reveal that city-scale UWD is mainly influenced by short-term memory effects. Additionally, climatic variables, particularly vapor pressure deficit and temperature, emerge as key determinants across all regions, with a pronounced impact in arid areas. Finally, the thesis pioneers an optimal control framework that leverages DL-based UWD forecasts within an economic model predictive control (EMPC) strategy for a large-scale WDN. This innovative integration investigates the impact of forecast accuracy on operational control effectiveness, representing a novel exploration in the field. Our preliminary results indicate that this approach optimizes resource use and reduces energy consumption by up to 2.9% compared to conventional control. DL models, providing more accurate demand forecasts, achieve greater energy savings. In conclusion, this thesis underscores the significant enhancements that can be achieved by incorporating advanced ML and DL techniques into UWD modelling and analysis. By adopting these soft computational methods, this thesis not only reveals key insights into demand patterns but also informs the design of more effective and adaptive management strategies. These strategies are crucial for addressing the challenges of water distribution in changing urban environments, ensuring sustainability and efficiency in water management. Parts of this research have been published (or are forthcoming) in the following conference and journal publications: - Wenjin Hao, Andrea Cominola, and Andrea Castelletti (2022). Comparing predictive machine learning models for short-and long-term urban water demand forecasting in Milan, Italy, IFAC-PapersOnLine 55.33: 92-98. - Wenjin Hao, Andrea Cominola, and Andrea Castelletti (2024a). Combining wavelet-enhanced feature selection and deep learning techniques for multi-step forecasting of urban water demand, Environmental Research: Infrastructure and Sustainability, 4, 035005. - Wenjin Hao, Andrea Cominola, and Andrea Castelletti (2024b). Short-term memory and regional climate drive city-scale water demand in the Contiguous US (under review). - Wenjin Hao, Andrea Cominola, Ina Vertommen, and Andrea Castelletti (2024c). A Water demand forecast-informed framework for optimal control of urban water distribution networks (in preparation).File | Dimensione | Formato | |
---|---|---|---|
PhD_Thesis_Hao_Final.pdf
accessibile in internet solo dagli utenti autorizzati
Dimensione
65.26 MB
Formato
Adobe PDF
|
65.26 MB | Adobe PDF | Visualizza/Apri |
I documenti in POLITesi sono protetti da copyright e tutti i diritti sono riservati, salvo diversa indicazione.
https://hdl.handle.net/10589/224972