Deep Q-Networks for FX Trading: Increasing Performance with Online Learning and Technical Analysis

The Foreign Exchange Market lends itself particularly well to the development of algorithmic trading models due to its liquidity and volume characteristics. The difficulty in this challenge lies in providing the model with an appropriate type of data. In this thesis, we adapted a Reinforcement Learning algorithm, called Deep Q-Network (DQN), to FX trading, by designing both an offline and an online version. The aim was to develop a model capable of finding profitable trading strategies on the FX market. To this end, we tested the agent on real data consisting of an OHLC (Open, High, Low, Close) EUR-USD dataset over the years from 2016 to 2020. We first developed a basic model, considering only temporal features and the difference between consecutive prices. Subsequently, we also introduced technical analysis indicators to increase the ability of the model to extract information from the data and develop more effective strategies. By comparing the results obtained through measures such as cumulative P&L, Sharpe Ratio and Maximum Drawdown, we finally tried to understand whether the online version was able to outperform the offline version and whether the addition of technical analysis elements could lead to better results.

Grazie alle sue caratteristiche di liquidità e volumi, il Foreign Exchange Market si presta particolarmente bene allo sviluppo di modelli di Trading algoritmico. La difficoltà di tale sfida risiede nel fornire al modello una tipologia di dati adeguata. In questa tesi abbiamo adattato un algoritmo di Reinforcement Learning, chiamato Deep Q-Network (DQN), al trading FX, sviluppando sia una versione online che offline. L’obiettivo è stato quello di sviluppare un modello capace di trovare strategie di trading profittevoli sul mercato FX. A tal fine abbiamo testato l’agente su dati reali costituiti da un dataset OHLC (Open, High, Low, Close) EUR/USD sugli anni dal 2016 al 2020. Abbiamo prima sviluppato un modello di base, considerando solamente features temporali e la differenza tra prezzi consecutivi. Successivamente abbiamo introdotto anche indicatori di analisi tecnica per aumentare la capacità del modello di estrarre informazioni dai dati e sviluppare strategie più efficaci. Confrontando i risultati ottenuti tramite misure quali P&L cumulato, Sharpe Ratio e Maximum Drawdown, abbiamo infine cercato di capire se la versione online fosse in grado di superare le performance di quella offline e se l’aggiunta di elementi di analisi tecnica potesse comportare risultati migliori.