Investigation of Bayesian Deep Learning methods for probabilistic electricity price forecasting

Liberalized electricity markets have unique characteristics compared to other resource markets. Price time series are typically characterized by strong nonlinearities and sudden spikes, beyond complex latent relationships to several conditioning variables such as the power demand and weather conditions. Therefore, forecasting future price settlements is a challenging task that has increased research interest. Predicting electricity prices can lead to significant savings and revenues for all the agents in the liberalized electricity markets. Point prediction algorithms have long influenced power production and consumption schedules. Unlike them, probabilistic forecasting models can model the probability distribution of electricity prices, thus making it possible to consider forecast uncertainty in decision-making (e.g., risk management, stochastic optimization, etc.) Recently, neural network-based approaches to electricity price forecasting are being widely investigated, fostered by the performances achieved in computer science fields such as computer vision and natural language processing. However, their flexible feature extraction capabilities come at the cost of reduced explainability. Therefore it is crucial to extend traditional NNs-based forecasting models (i.e., point forecasting) to extract proper indications of the uncertainty in the models’ forecasts (i.e., Neural Networks Probabilistic Forecasting models) Still, most of the studies in the EPF literature have been devoted to developing point forecasting techniques. Recent studies in EPF have proposed using Bayesian Deep Learning to estimate forecast uncertainty. Nevertheless, such studies are limited to single approximate Bayesian inference techniques (e.g., Mean Field Variational Inference, MC-Dropout). Today, there is a lack of studies to compare the advantages and disadvantages of different Bayesian Deep Learning techniques in EPF. In addition, Bayesian Deep Learning techniques recently proposed in computer science (e.g., multi-swag) have yet to be investigated more in the EPF field. The objective of this thesis is to contribute to the investigation of NNs-based Probabilistic Forecasting techniques for EPF focusing specifically on Approximate Bayesian Deep Learning approaches. In particular, in this work, we first perform an experimental comparison of the basic MC-Dropout-based approximate inference technique previously employed in EPF to the more flexible Multi-SWAG approach. Besides, we implement a simple and scalable approach based on ensembles of neural networks, which has been shown to approximately marginalize different modes in the posterior distribution. The experiments are performed on datasets of real energy markets, showing that Deep Ensembles represent a simple and robust approach reaching the performance level of more sophisticated methods such as Multi-SWAG and MC-Dropout.

I mercati liberalizzati dell’energia elettrica presentano caratteristiche uniche rispetto ad altri mercati delle risorse. Le serie temporali dei prezzi sono tipicamente caratterizzate da forti non linearità e picchi improvvisi, oltre a complesse relazioni latenti con diverse variabili condizionanti come la domanda di energia e le condizioni meteorologiche. Pertanto, la previsione dei futuri assestamenti dei prezzi è un compito impegnativo, oggetto di un crescente interesse da parte della ricerca. La previsione dei prezzi dell’energia elettrica può portare a risparmi e ricavi significativi per tutti gli operatori dei mercati liberalizzati dell’elettricità. I programmi di produzione e consumo di energia elettrica sono stati a lungo influenzati da algoritmi di previsione puntuale. A differenza di questi, i modelli di previsione probabilistici sono in grado di modellare la distribuzione di probabilità dei prezzi dell’elettricità, rendendo così possibile considerare l’incertezza delle previsioni nel processo decisionale (e.g. gestione del rischio, ottimizzazione stocastica, ecc.). Recentemente, gli approcci basati sulle reti neurali per la previsione dei prezzi dell’elettricità sono stati ampiamente studiati, grazie alle prestazioni ottenute in altri campi della Computer Science come la Computer Vision e il Natural Language Processing. Tuttavia, la loro flessibilità nell’estrazione di feature latenti si traduce nell’ottenere un modello difficile da interpretare, al contempo introduce problemi di overfitting e di previsioni troppo sicure. Pertanto, è importante estendere i modelli di previsione tradizionali basati sulle Reti Neurali (basati sulla previsione puntuale) in modo da estrarre indicazioni corrette sull’incertezza delle previsioni dei modelli (i.e. la previsione probabilistica basata sulle Reti Neurali). La maggior parte degli studi nella letteratura EPF è stata dedicata allo sviluppo di tecniche di previsione puntuale. Studi recenti sull’EPF hanno proposto l’uso del Bayesian Deep Learning per stimare l’incertezza delle previsioni. Tuttavia, tali studi sono limitati a singole tecniche di inferenza bayesiana approssimata (ad esempio, Mean Field Variational Inference, MC-Dropout). Ad oggi, mancano studi che confrontino i vantaggi e gli svantaggi delle diverse tecniche di Bayesian Deep Learning nell’EPF. Inoltre, le tecniche di Deep Learning bayesiano recentemente proposte in informatica (ad esempio, il Multi-SWAG) non sono ancora state studiate nel campo dell’EPF. Obiettivo della tesi L’obiettivo di questa tesi è quello di contribuire all’indagine delle tecniche di Probabilistic Forecasting basate su Reti Neurali per l’EPF con un focus specifico sugli approcci di Bayesian Deep Learning approssimato. In particolare, in questo lavoro, si esegue innanzitutto un confronto sperimentale tra la tecnica di inferenza approssimata basata su MC-Dropout, precedentemente impiegata in EPF, e l’approccio più flessibile Multi-SWAG. Inoltre, implementiamo un approccio semplice e scalabile basato su insiemi di reti neurali, che ha dimostrato di marginalizzare approssimativamente diverse mode nella distribuzione del posterior. Gli esperimenti sono stati eseguiti su un set di dati di mercati energetici reali, e mostrano che i Deep Ensemble rappresentano un approccio semplice e robusto, in grado di raggiungere il livello di prestazioni di metodi più sofisticati come Multi-SWAG e MC-Dropout.