Investigation of the transformer neural network for electricity price forecasting

The availability of accurate predictions of electricity prices is crucial for companies participating in the liberalized market. Both suppliers and large aggregators require day-ahead price profiles to schedule the assets and design effective bidding strategies. In fact, the electricity price forecasting research field has been subject of continuous interest since the 1990s and nowadays most attention is being devoted to neural network based approaches, mainly due to the impressive results obtained in the computer science context. A wide amount of architectures have been considered for this purpose, including both feed-forward and recurrent forms. In this thesis, we investigate a further architectural class still not considered for EPF, namely the Transformer neural network. Our interest is twofold. On the one hand, we aim to assess potential forecasting performance improvements, leveraging the recurrence-free context enabled by the attention layers. On the other hand, the plot of the attention maps may provide insights into the model behavior at both local (i.e., instance-wise) and global (i.e., dataset) levels. Experiments are performed on real electricity price data from the Nord Pool day-ahead market, comparing the Transformer to state-of-the-art feed-forward (FFN) and recurrent neural network (RNN) models. For this dataset, the Transformer achieved improved forecasting accuracy with reference to the RNN, while the FFN is still the best-performing model, confirming previous works in the literature. However, the analysis of the Transformer attention reveals interesting patterns in the conditioning sets, showing how the network is focusing on the lagged features during prediction in different time periods.

La disponibilità di previsioni accurate dei prezzi dell’energia elettrica è cruciale per le aziende che partecipano al mercato energetico. Sia i fornitori che gli aggregatori di energia elettrica necessitano di profili di prezzo affidabili per progettare strategie d’asta efficaci. Il campo della previsione dei prezzi dell’energia elettrica è stato oggetto di forte interesse dagli anni ’90, e oggi l’attenzione è concentrata su approcci basati su reti neurali, principalmente a causa dei brillanti risultati ottenuti nel contesto dell’informatica. Una vasta gamma di architetture è stata applicata a questo dominio, inclusi sia i modelli di tipo feed-forward che quelli ricorrenti. In questa tesi, indaghiamo la prestazione del modello Transformer per la previsione dei prezzi dell’energia elettrica. In questo caso il nostro interesse è duplice. Da un lato, miriamo a valutare possibili miglioramenti rispetto al corrente stato dell’arte, sfruttando la struttura priva di ricorrenza resa possibile dall’attention. D’altra parte, le mappe di attention potrebbero aiutare a comprendere il comportamento del modello sia a livello locale (ovvero per ogni istanza) che globale (per l’intero dataset). Gli esperimenti sono stati condotti su dati dei prezzi dell’energia elettrica provenienti dal Nord Pool day-ahead market, confrontando la rete Transformer con modelli di rete neurale feed-forward (FFN) e ricorrenti (RNN). Per questo dataset, la rete Transformer ha raggiunto un’accuratezza migliore rispetto alla RNN, mentre la FFN è ancora il modello con le prestazioni migliori, confermando risultati già presenti in letteratura. Tuttavia, l’analisi dell’attenzione del Transformer mostra andamenti interessanti, concentrandosi sui diversi input in modi differenti in base al periodo da predirre.