Economical optimization of electricity demand forecast models using imbalance price information

The electricity market is dynamic and complex, with constant fluctuations and risks that involve all interested parties, including buyers, sellers, and other involved entities. To address these challenges, this research aims to improve the forecast of the electric market demand using imbalance cost information as supplementary data. From the historical series of market data, a forecast model was developed that takes into account not just error minimization during training, but also risks and costs. To achieve this goal, several methodologies were used, including various machine learn- ing models such as random forests with custom train/test divisions developed to represent the real use case of these models, gradient boosting methods like LightGBM and ExtremeGBM with custom loss and evaluation functions, and an approach based on LSTM using TensorFlow. The main results of this study highlight the importance of economic optimization of the forecast model, focusing not just on error minimization. The results demonstrate that the model with the best performance is an LSTM using TensorFlow, which greatly reduces forecast costs compared to simpler models that incorporate cost information in alternative ways. This research underscores the effectiveness of using loss functions enriched with external data (in particular market information) and of selecting the methodology to improve demand forecasts in the electric market, benefiting all participants by providing forecasts that expose them to lesser risks.

Il mercato elettrico è dinamico e complesso, con costanti fluttuazioni e rischi che coinvolgono tutte le parti interessate, inclusi acquirenti, venditori e altri soggetti coinvolti. Per affrontare queste sfide, questa ricerca mira a migliorare la previsione della domanda del mercato elettrico utilizzando informazioni sui costi di sbilanciamento come dati supplementari. Estraendo e processando dalle series storiche dei mercati i costi di sbilanciamento è stato sviluppato un modello di forecast che tenga conto durante il training della minimizzazione non solo dell’errore, ma dei rischi e dei costi. Per raggiungere questo obiettivo, sono state utilizzate diverse metodologie, vari modelli di machine learning come le random forest con division train/test sviluppate per rappresentare il caso d’uso reale di questi modelli, metodi di Gradient Boosting come LightGBM ed ExtremeGBM con funzioni di loss e metriche personalizzate, e un approccio basato su LSTM utilizzando TensorFlow. I risultati principali di questo studio evidenziano l’importanza di un’ottimizzazione economica del modello di previsione, concentrandosi non solo sulla minimizzazione dell’errore. I nostri risultati dimostrano che il modello con le migliori prestazioni è una LSTM utilizzando TensorFlow, che riduce maggiormente i costi di previsione rispetto ai modelli più semplici che incorporano le informazioni sui costi in modi alternativi. Questa ricerca sottolinea l’efficacia dell’uso di loss function arricchite con dati esterni (in particolare informazioni di mercato) e di selezionare la metodologia per migliorare le previsioni della domanda nel mercato elettrico, a beneficio di tutti i partecipanti fornendo previsioni che espongono a rischi minori.