Transition to an intelligent data platform: optimizing energy forecasting from excel to snowflake

The global energy transition is profoundly reshaping the energy sector, introducing an unprecedented level of complexity. The rapid growth of non-programmable renewable energy sources, the electrification of items such as electric stoves, heat pumps, e-mobility and the adoption of advanced energy-efficiency solutions are making the balance between supply and demand increasingly dynamic and difficult to predict. In this evolving context, traditional forecasting methods based on linear models and aggregated historical data often prove insufficient for capturing the non-linear patterns and volatility that now characterize the energy market, especially over short- and mediumterm horizons. For A2A, operating in Italy’s energy ecosystem, the ability to forecast energy demand with high precision is a strategic capability that leads to competitiveness, cost efficiency, and grid stability. This master’s thesis, developed in collaboration between the Politecnico di Milano and the Data Management Area of A2A, aims to implement the transition from traditional Excel-based workflows to a modern, scalable data infrastructure (Snowflake) capable of supporting advanced analytics and continuous model improvement. The project also provides a literature review how advanced Machine Learning (ML) and Deep Learning (DL) methodologies can be applied to improve forecasting accuracy.

La transizione energetica globale sta profondamente trasformando il settore energetico, introducendo un livello di complessità senza precedenti. La rapida crescita delle fonti di energia rinnovabile non programmabili, l’elettrificazione di apparecchiature quali fornelli elettrici, pompe di calore e mobilità elettrica, nonché l’adozione di soluzioni avanzate di efficienza energetica stanno rendendo l’equilibrio tra domanda e offerta sempre più dinamico e difficile da prevedere. In questo contesto in evoluzione, i metodi di previsione tradizionali basati su modelli lineari e dati storici aggregati spesso si rivelano insufficienti per cogliere la volatilità che ora caratterizzano il mercato energetico, soprattutto su orizzonti di breve e medio termine. Per A2A, che opera nell’ecosistema energetico italiano, la capacità di prevedere con elevata precisione la domanda di energia è una competenza strategica a competitività dei costi e della rete. Questa tesi di laurea magistrale, sviluppata in collaborazione tra il Politecnico di Milano e l’Area Gestione Dati di A2A, mira a implementare la transizione dai tradizionali flussi di lavoro basati su Excel a un’infrastruttura dati moderna e scalabile (Snowflake) in grado di supportare analisi avanzate e il miglioramento continuo dei modelli. Il progetto fornisce anche una revisione della letteratura di di come le metodologie avanzate di Machine Learning (ML) e Deep Learning (DL) possano essere applicate per migliorare l’accuratezza delle previsioni