Implementation of a business intelligence system and reporting with Azure Synapse

The paper discusses the development of a Business Intelligence system for a company that already has internal reporting processes. The implemented system enables the automation of these processes, allowing for a different allocation of resources, the inclusion of a broader range of data covering more aspects potentially significant for analysis, more frequently updated reports (with most data being refreshed daily), and a single, centralized version of truth for data shared across multiple business units. The technology used is Microsoft Azure Synapse, hosted in the cloud. Data is sourced from 19 on-premises data sources that are heterogeneous in schema and technology and is copied into the data lake, where it is persistently stored. Synapse pipelines handle data movement and transformation, through the data lake and into the data warehouse. Following an ELT approach, data is then transformed directly within the data warehouse according to business requirements and organized into data marts, on which Power BI data models can be built. During the project, after setting up and tuning the system, the first data mart was built, leading to an initial report based on it, which focuses on the volumes of products delivered at service counters and customer satisfaction.

L’elaborato tratta della realizzazione di un sistema di Business Intelligence per una compagnia che dispone già di processi di reportistica interni. Il sistema implementato consente di automatizzare questi processi, permettendo una allocazione diversa delle risorse, di includere una maggior gamma di dati che coprano più aspetti potenzialmente significativi per le analisi, di avere una reportistica aggiornata più di frequente (per la maggior parte dei dati, a cadenza giornaliera), e di disporre di una singola versione centralizzata di verità per i dati condivisi tra più unità aziendali. La tecnologia utilizzata è quella di Microsoft Azure Synapse, ospitata in cloud. I dati sono prelevati da 19 fonti dati on-premise eterogenee per schema e tecnologia e copiati nel data lake dove sono salvati in modo persistente. Le pipelines di Synapse si occupano della movimentazione e della trasformazione dei dati, attraverso il data lake e fino al data warehouse. Seguendo un approccio ELT, i dati sono trasformati direttamente nel data warehouse seguendo i requisiti di business e organizzati in data mart, sulla base dei quali si possono costruire modelli dati utilizzabili da report di Power BI. Durante il progetto, per prima cosa si è impostato e parametrizzato il sistema, poi si è costruito il suo primo data mart e si è arrivati ad un primo report basato su di esso, che riguarda i volumi di prodotti erogati agli sportelli e la soddisfazione dei clienti.