Environmental hazard data derived from global climate reanalysis datasets are increasingly used in environmental epidemiology, public health research, and urban planning. ERA5, produced by the European Centre for Medium-Range Weather Forecasts (ECMWF) and freely available through the Copernicus Climate Data Store (CDS), is the reference standard for historical atmospheric data, providing hourly global coverage at 0.25-degree resolution from 1940 to the near-present. However, extracting polygon-level ERA5 time series in a reproducible and methodologically consistent manner remains technically demanding, requiring programming expertise and multiple software dependencies. No existing QGIS plugin provides an automated, integrated solution for this workflow. This thesis presents the Environmental ETL plugin, a QGIS plugin that automates the complete Extract-Transform-Load (ETL) pipeline from CDS API download to polygon-level daily time series CSV output, requiring no programming expertise from the end user. The plugin supports three ERA5 variables (2m temperature, total precipitation, and surface pressure), three spatial aggregation methods (centroid assignment, point-based averaging, and area-weighted averaging), and two-time extraction modes including a Daily Min / Max / Mean feature (Option B) that computes daily summary statistics from all 24 hourly ERA5 values per polygon. The plugin was evaluated through a systematic 27-run experimental design covering three study regions (Lombardy, Italy; Ankara Province, Turkey; Tamil Nadu, India), three ERA5 variables, and three aggregation methods. Results confirm a consistent hierarchical accuracy relationship: Point-Based averaging is always closer to the Area Weighted reference standard than Centroid assignment, across all 27 comparisons without exception. For temperature and pressure, Point-Based vs Area-Weighted R2 ranges from 0.959 to 0.981, indicating reliable agreement. For precipitation, Centroid assignment performs poorly (minimum R2 = 0.570 for Ankara), confirming it should not be used for precipitation extraction. Runtime scales approximately linearly with polygon count, with a per-polygon estimate of 30 to 45 seconds, and reproducibility was fully confirmed through an independent verification test. A supplementary 9-run evaluation of Option B for Tamil Nadu quantified the diurnal temperature range (approximately 9.9 degrees Celsius between Daily Max and Daily Min) and confirmed that Option B runtime overhead is modest (ratio of 1.06 to 1.59 compared to Option A), as CDS API queue time rather than data volume dominates total runtime. The Environmental ETL plugin fills a clear gap in the landscape of GIS integrated climate data tools, making high-quality ERA5 polygon-level extraction accessible to researchers without programming expertise.

I dati sui rischi ambientali derivati dai dataset globali di rianalisi climatica sono sempre più utilizzati in epidemiologia ambientale, ricerca sulla salute pubblica e pianificazione urbana. ERA5, prodotto dal Centro Europeo per le Previsioni Meteorologiche a Medio Termine (ECMWF) e disponibile gratuitamente attraverso il Copernicus Climate Data Store (CDS), rappresenta lo standard di riferimento per i dati atmosferici storici, fornendo copertura oraria globale a risoluzione di 0,25 gradi dal 1940 ad oggi. Tuttavia, l'estrazione di serie temporali ERA5 a livello di poligono in modo riproducibile e metodologicamente coerente rimane tecnicamente impegnativa, richiedendo competenze di programmazione e molteplici dipendenze software. Nessun plugin QGIS esistente fornisce una soluzione automatizzata e integrata per questo flusso di lavoro. Questa tesi presenta il plugin Environmental ETL, un plugin QGIS che automatizza l'intero pipeline Extract-Transform-Load (ETL) dal download tramite CDS API all'output CSV di serie temporali giornaliere a livello di poligono, senza richiedere competenze di programmazione da parte dell'utente finale. Il plugin supporta tre variabili ERA5 (temperatura a 2 metri, precipitazione totale e pressione superficiale), tre metodi di aggregazione spaziale (assegnazione al centroide, media basata su punti e media pesata per area) e due modalità di estrazione temporale, tra cui una funzionalità di Minimo, Massimo e Media Giornaliera (Opzione B) che calcola statistiche di riepilogo giornaliere da tutti i 24 valori ERA5 orari per ciascun poligono. Il plugin è stato valutato attraverso un disegno sperimentale sistematico di 27 esecuzioni che coprono tre aree di studio (Lombardia, Italia; Provincia di Ankara, Turchia; Tamil Nadu, India), tre variabili ERA5 e tre metodi di aggregazione. I risultati confermano una relazione gerarchica di accuratezza coerente: la media basata su punti è sempre più vicina allo standard di riferimento della media pesata per area rispetto all'assegnazione al centroide, in tutte e 27 le comparazioni senza eccezione. Per temperatura e pressione, R² tra media basata su punti e media pesata per area varia da 0,959 a 0,981, indicando un accordo affidabile. Per la precipitazione, l'assegnazione al centroide produce risultati scadenti (R² minimo = 0,570 per Ankara), confermando che non dovrebbe essere utilizzata per l'estrazione di dati pluviometrici. Il tempo di esecuzione scala approssimativamente in modo lineare con il numero di poligoni, con una stima di 30-45 secondi per poligono, e la riproducibilità è stata completamente confermata attraverso un test di verifica indipendente. Una valutazione supplementare di 9 esecuzioni dell'Opzione B per il Tamil Nadu ha quantificato l'escursione termica giornaliera (circa 9,9 gradi Celsius tra il Massimo e il Minimo Giornaliero) e ha confermato che il sovraccarico di tempo di esecuzione dell'Opzione B è modesto (rapporto da 1,06 a 1,59 rispetto all'Opzione A), poiché il tempo di attesa dell'API CDS, piuttosto che il volume dei dati, domina il tempo di esecuzione totale. Il plugin Environmental ETL colma una lacuna evidente nel panorama degli strumenti di dati climatici integrati nei GIS, rendendo l'estrazione ERA5 a livello di poligono di alta qualità accessibile ai ricercatori senza competenze di programmazione.

A QGIS plugin for extraction of polygon-based environmental data from ERA5

SAMINATHAN, PRAVEENKUMAR
2025/2026

Abstract

Environmental hazard data derived from global climate reanalysis datasets are increasingly used in environmental epidemiology, public health research, and urban planning. ERA5, produced by the European Centre for Medium-Range Weather Forecasts (ECMWF) and freely available through the Copernicus Climate Data Store (CDS), is the reference standard for historical atmospheric data, providing hourly global coverage at 0.25-degree resolution from 1940 to the near-present. However, extracting polygon-level ERA5 time series in a reproducible and methodologically consistent manner remains technically demanding, requiring programming expertise and multiple software dependencies. No existing QGIS plugin provides an automated, integrated solution for this workflow. This thesis presents the Environmental ETL plugin, a QGIS plugin that automates the complete Extract-Transform-Load (ETL) pipeline from CDS API download to polygon-level daily time series CSV output, requiring no programming expertise from the end user. The plugin supports three ERA5 variables (2m temperature, total precipitation, and surface pressure), three spatial aggregation methods (centroid assignment, point-based averaging, and area-weighted averaging), and two-time extraction modes including a Daily Min / Max / Mean feature (Option B) that computes daily summary statistics from all 24 hourly ERA5 values per polygon. The plugin was evaluated through a systematic 27-run experimental design covering three study regions (Lombardy, Italy; Ankara Province, Turkey; Tamil Nadu, India), three ERA5 variables, and three aggregation methods. Results confirm a consistent hierarchical accuracy relationship: Point-Based averaging is always closer to the Area Weighted reference standard than Centroid assignment, across all 27 comparisons without exception. For temperature and pressure, Point-Based vs Area-Weighted R2 ranges from 0.959 to 0.981, indicating reliable agreement. For precipitation, Centroid assignment performs poorly (minimum R2 = 0.570 for Ankara), confirming it should not be used for precipitation extraction. Runtime scales approximately linearly with polygon count, with a per-polygon estimate of 30 to 45 seconds, and reproducibility was fully confirmed through an independent verification test. A supplementary 9-run evaluation of Option B for Tamil Nadu quantified the diurnal temperature range (approximately 9.9 degrees Celsius between Daily Max and Daily Min) and confirmed that Option B runtime overhead is modest (ratio of 1.06 to 1.59 compared to Option A), as CDS API queue time rather than data volume dominates total runtime. The Environmental ETL plugin fills a clear gap in the landscape of GIS integrated climate data tools, making high-quality ERA5 polygon-level extraction accessible to researchers without programming expertise.
ING I - Scuola di Ingegneria Civile, Ambientale e Territoriale
22-lug-2026
2025/2026
I dati sui rischi ambientali derivati dai dataset globali di rianalisi climatica sono sempre più utilizzati in epidemiologia ambientale, ricerca sulla salute pubblica e pianificazione urbana. ERA5, prodotto dal Centro Europeo per le Previsioni Meteorologiche a Medio Termine (ECMWF) e disponibile gratuitamente attraverso il Copernicus Climate Data Store (CDS), rappresenta lo standard di riferimento per i dati atmosferici storici, fornendo copertura oraria globale a risoluzione di 0,25 gradi dal 1940 ad oggi. Tuttavia, l'estrazione di serie temporali ERA5 a livello di poligono in modo riproducibile e metodologicamente coerente rimane tecnicamente impegnativa, richiedendo competenze di programmazione e molteplici dipendenze software. Nessun plugin QGIS esistente fornisce una soluzione automatizzata e integrata per questo flusso di lavoro. Questa tesi presenta il plugin Environmental ETL, un plugin QGIS che automatizza l'intero pipeline Extract-Transform-Load (ETL) dal download tramite CDS API all'output CSV di serie temporali giornaliere a livello di poligono, senza richiedere competenze di programmazione da parte dell'utente finale. Il plugin supporta tre variabili ERA5 (temperatura a 2 metri, precipitazione totale e pressione superficiale), tre metodi di aggregazione spaziale (assegnazione al centroide, media basata su punti e media pesata per area) e due modalità di estrazione temporale, tra cui una funzionalità di Minimo, Massimo e Media Giornaliera (Opzione B) che calcola statistiche di riepilogo giornaliere da tutti i 24 valori ERA5 orari per ciascun poligono. Il plugin è stato valutato attraverso un disegno sperimentale sistematico di 27 esecuzioni che coprono tre aree di studio (Lombardia, Italia; Provincia di Ankara, Turchia; Tamil Nadu, India), tre variabili ERA5 e tre metodi di aggregazione. I risultati confermano una relazione gerarchica di accuratezza coerente: la media basata su punti è sempre più vicina allo standard di riferimento della media pesata per area rispetto all'assegnazione al centroide, in tutte e 27 le comparazioni senza eccezione. Per temperatura e pressione, R² tra media basata su punti e media pesata per area varia da 0,959 a 0,981, indicando un accordo affidabile. Per la precipitazione, l'assegnazione al centroide produce risultati scadenti (R² minimo = 0,570 per Ankara), confermando che non dovrebbe essere utilizzata per l'estrazione di dati pluviometrici. Il tempo di esecuzione scala approssimativamente in modo lineare con il numero di poligoni, con una stima di 30-45 secondi per poligono, e la riproducibilità è stata completamente confermata attraverso un test di verifica indipendente. Una valutazione supplementare di 9 esecuzioni dell'Opzione B per il Tamil Nadu ha quantificato l'escursione termica giornaliera (circa 9,9 gradi Celsius tra il Massimo e il Minimo Giornaliero) e ha confermato che il sovraccarico di tempo di esecuzione dell'Opzione B è modesto (rapporto da 1,06 a 1,59 rispetto all'Opzione A), poiché il tempo di attesa dell'API CDS, piuttosto che il volume dei dati, domina il tempo di esecuzione totale. Il plugin Environmental ETL colma una lacuna evidente nel panorama degli strumenti di dati climatici integrati nei GIS, rendendo l'estrazione ERA5 a livello di poligono di alta qualità accessibile ai ricercatori senza competenze di programmazione.
File allegati
File Dimensione Formato  
A QGIS Plugin for Extraction of Polygon-Based Environmental Data from ERA5.pdf

accessibile in internet per tutti

Descrizione: A QGIS plugin to automate the extraction, transformation, and aggregation of environmental exposure data (e.g., ERA5 meteorological variables) over user-defined geographical subdivisions, producing analysis-ready tabular outputs for environmental studies.
Dimensione 3 MB
Formato Adobe PDF
3 MB Adobe PDF Visualizza/Apri

I documenti in POLITesi sono protetti da copyright e tutti i diritti sono riservati, salvo diversa indicazione.

Utilizza questo identificativo per citare o creare un link a questo documento: https://hdl.handle.net/10589/260618