Data-driven models for electricity spot markets: monitoring, forecasting and strategic bidding

Electricity markets are becoming increasingly complex due to the transition towards decarbonized power systems, characterized by high penetration of variable renewable energy. In this context, this PhD thesis develops data-driven electricity spot market models, applied to the Italian case. It addresses three critical steps of a market actor’s decision-making pipeline: monitoring market fundamentals, predicting participant behaviors to forecast market results, and defining optimal bidding strategies to maximize revenues and foster competition. The proposed approaches rely on statistical and machine learning methods for binary, time series and functional data, with a particular emphasis on uncertainty quantification and model interpretability. Specifically, the first contribution is a blind source separation framework based on a constrained variant of non-negative matrix factorization, which enables the high-frequency monitoring of unobserved sectoral power demand from aggregate grid load measurements. The second contribution introduces a general functional data analysis framework for predicting supply and demand merit-order curves in auction-based markets, from which both point and probabilistic electricity price forecasts can be derived. The third contribution proposes a probabilistic classification pipeline to model pay-as-bid power reserve markets, allowing participants to estimate price-dependent bid acceptance probabilities and optimally price their flexibility.

I mercati elettrici stanno diventando sempre più complessi a causa della transizione verso sistemi energetici decarbonizzati, caratterizzati da un'alta penetrazione di fonti rinnovabili variabili. In questo contesto, questa tesi di dottorato sviluppa modelli data-driven per i mercati elettrici spot, applicati al caso italiano. La ricerca affronta tre fasi critiche della decision-making pipeline di un attore di mercato: il monitoraggio dei fondamentali di mercato, la previsione dei comportamenti dei partecipanti per stimare i risultati di mercato, e la definizione di strategie di offerta (bidding) ottimali per massimizzare i ricavi e favorire la concorrenza. Gli approcci proposti si basano su metodi statistici e di machine learning per dati binari, serie storiche e dati funzionali, con un particolare accento sulla quantificazione dell'incertezza e sull'interpretabilità dei modelli. Nello specifico, il primo contributo consiste in un framework di blind source separation basato su una variante vincolata della non-negative matrix factorization, che consente il monitoraggio ad alta frequenza della domanda elettrica settoriale non osservata a partire dalle misure aggregate del carico di rete. Il secondo contributo introduce un framework generale di functional data analysis per la previsione delle curve di merit-order di domanda e offerta nei mercati basati su aste, da cui è possibile derivare previsioni di prezzo dell'elettricità sia puntuali che probabilistiche. Il terzo contributo propone una pipeline di classificazione probabilistica per modellare i mercati della riserva di tipo pay-as-bid, permettendo ai partecipanti di stimare le probabilità di accettazione delle offerte in funzione del prezzo e di prezzare in modo ottimale la propria flessibilità.