A transfer-learning enabled transformer for time-series prediction

Time Series analysis and forecasting is among the most important problems that an analyst has to face in a lot of fields ranging from finance and economics, medicine, science, logistics, statistics, to the analysis of political and social policy sessions. In this thesis we present a new deep learning approach to time series forecasting. Following its great success in Natural Language Processing, we implemented a transformer-based architecture to exploit the attention mechanism in a different application and to test how it can improve the performance of the current state-of-the-art in time series forecasting represented by the LSTM recurrent model. With the proper task-based data embedding and architecture choices we tested our model on three dataset with different application's domains. In addition we tested how a transfer learning approach can improve the results when the target dataset has a low number of samples but we have at our disposal a correlated dataset with a large number of samples on which perform the training of the model, and then the fine-tuning of the decoder part of the architecture.

L'analisi e la previsione delle serie temporali sono tra i problemi più importanti che un analista deve affrontare in molti campi che vanno dalla finanza ed economia, medicina, scienza, logistica, statistica, all'analisi del comportamento sociale. In questa tesi presentiamo un nuovo approccio di Deep Learning alla previsione delle serie temporali. Seguendo il suo grande successo nel Natural Language Processing, abbiamo implementato un'architettura basata su Transformer per sfruttare il meccanismo di attenzione in un'applicazione differente e per testare come possa migliorare le prestazioni dell'attuale stato dell'arte nella previsione delle serie temporali rappresentato dal modello LSTM Recurrent. Con scelte di Embedding e architetturali basate sul caso applicativo, abbiamo testato il nostro modello su tre dataset con diversi domini applicativi. Inoltre abbiamo testato come un approccio di transfer learning possa migliorare i risultati quando il dataset di destinazione ha un basso numero di campioni ma abbiamo a disposizione un dataset correlato con un gran numero di campioni su cui eseguire l'addestramento del modello, e poi il fine-tuning della parte di Decoder dell'architettura.