Deep neural networks for time series forecasting beyond transformers

Human culture has always wondered how to know the future in advance. In recent years, a specific subject of Machine Learning studies is precisely this, trying to grasp the future from the study of time series with the use of neural networks. In other words, it aims to find neural network models applicable to time series that are able to calculate the trend of an unknown phenomenon from other known parts of it. Time series are sequential data in which an input data vector represents time. It is clear that if it were possible to calculate time series values before knowing them through real-world observation, it would mean being able to predict the future, and this would certainly have great appeal and obvious practical interest. Time series forecasting sets itself precisely this goal, that of calculating the future. There are numerous active lines of research dealing with this using different techniques. In particular, numerous studies develop models derived from the Transformer, which was originally invented for linguistic analysis. Many researchers have therefore found it natural to try to extend its use to other fields and in particular to time series in order to predict future trends. Several researches foresee a growing complication of the models, in a sort of emulation of what happened in other areas, such as the classification of images and Neural Language Processing (NLP) in which a growing complexity of Deep Learning models can correspond to a better Time series forecasting sets itself precisely this goal, that of calculating the future!. We have also developed models capable of making predictions for extremely long periods, up to 5376 values in some cases. We have shown that even for such long periods, the results are good if the data set has a constant and regular periodicity. From an interpretative point of view, this means that if there is regularity in the data, the Neural Network models are able to adapt, being able to obtain the necessary information when the values are periodic. The models we proposed, realised with substantially reduced levels of complexity compared to other studies, achieve comparable and in many cases superior performance compared to the state of the art. We have also shown that if the regularity condition does not exist, long-term predictions are more problematic and more often than not impossible.

L'uomo si è sempre domandato come conoscere il futuro in anticipo. Negli ultimi anni, un argomento specifico degli studi di Machine Learning è proprio questo, cercare di cogliere il futuro dallo studio delle serie temporali con l'uso delle reti neurali. In altre parole, si tratta di trovare modelli di reti neurali applicabili alle serie temporali che siano in grado di calcolare la tendenza di un fenomeno sconosciuto a partire da altre parti note di esso. Le serie temporali sono dati sequenziali in cui un vettore di dati in ingresso rappresenta il tempo. È chiaro che se fosse possibile calcolare i valori delle serie temporali prima di conoscerli attraverso l'osservazione del mondo reale, significherebbe essere in grado di prevedere il futuro, e questo avrebbe certamente un grande fascino e un evidente interesse pratico. La previsione delle serie temporali si pone proprio questo obiettivo, quello di calcolare il futuro. Esistono numerose linee di ricerca attive che si occupano di questo aspetto utilizzando tecniche diverse. In particolare, numerosi studi sviluppano modelli derivati dal trasformatore, originariamente inventato per l'analisi linguistica. Molti ricercatori hanno quindi trovato naturale cercare di estendere il suo utilizzo ad altri campi e in particolare alle serie temporali per prevedere le tendenze future. Diverse ricerche prevedono una crescente complicazione dei modelli, in una sorta di emulazione di quanto avvenuto in altri ambiti, come la classificazione delle immagini e il Neural Language Processing (NLP) in cui a una crescente complessità dei modelli di Deep Learning può corrispondere una migliore previsione delle serie temporali che si pone proprio questo obiettivo, quello di calcolare il futuro! Abbiamo anche sviluppato modelli in grado di fare previsioni per periodi estremamente lunghi, fino a 5376 valori in alcuni casi. Abbiamo dimostrato che anche per periodi così lunghi i risultati sono buoni se l'insieme dei dati ha una periodicità costante e regolare. Da un punto di vista interpretativo, questo significa che se c'è regolarità nei dati, i modelli di rete neurale sono in grado di adattarsi, riuscendo a ottenere le informazioni necessarie quando i valori sono periodici. I modelli da noi proposti, realizzati con livelli di complessità sostanzialmente ridotti rispetto ad altri studi, raggiungono prestazioni comparabili e in molti casi superiori rispetto allo stato dell'arte. Abbiamo anche dimostrato che se la condizione di regolarità non esiste, le previsioni a lungo termine sono più problematiche e spesso impossibili.