Exploiting FX trading patterns at multiple time-scales with hierarchical reinforcement learning

The Foreign Exchange market is the largest financial market in the world and is therefore an attraction for banks, institutions and individual traders due to its high liquidity and low bid-ask spreads. With the evolution of technology, automated trading is an evermore suitable tool to trade this market. Nevertheless, the choice of the trading frequency remains an important issue, considering that the variability and complexity of market patterns do not allow the identification of a single optimal one. In this thesis, we model a realistic intraday trading environment to introduce a novel hierarchical reinforcement learning algorithm, called Hierarchical Persistent Fitted Q-Iteration. This algorithm allows several trading frequencies to be considered simultaneously, resulting in an agent that is able to learn, at any instant, which frequency is best, thus exploiting the signal at different time scales while maintaining a high degree of control over its actions. We test the algorithm initially on the Mountain Car environment to better understand how it works empirically and then, after some exploratory analyses, on the EUR/USD market data. Finally, we compare its performance to the one of an algorithm from literature, Persistent Fitted Q-Iteration. The results confirm the crucial importance of having an agent capable of constantly changing frequency, while also identify further areas for development and improvement.

Il Forex Exchange market è il più grande mercato finanziario del mondo e per questo è un attrattore di banche, istituzioni e singoli trader per la sua elevata liquidità e i bassi spread bid-ask. Grazie all’evoluzione della tecnologia, il trading automatizzato sembra essere lo strumento più idoneo per operare in questo mercato nella maniera più efficace. Tuttavia rimane cruciale la scelta della frequenza di trading, considerando che la variabilità e complessità delle condizioni di mercato non consentono l’individuazione di un’unica frequenza ottimale. In questa tesi, costruiamo un ambiente realistico di trading infragiornaliero finalizzato all’introduzione di un nuovo algoritmo gerarchico di reinforcement learning, chiamato Hierarchical Persistent Fitted Q-Iteration. Questo algoritmo permette di prendere in considerazione diverse frequenze di trading contemporaneamente, dando vita ad un agente che è in grado di imparare, in ogni istante, quale sia la frequenza migliore, sfruttando quindi il segnale a diverse scale temporali pur mantenendo un elevato controllo sulle proprie azioni. Inizialmente testiamo l’algoritmo sull’ambiente Mountain Car e poi, dopo aver effettuato alcune analisi esplorative sui dati, sul mercato EUR/USD, confrontando le sue prestazioni con quelle di Persistent Fitted Q-Iteration, un algoritmo presente in letteratura. I nostri risultati confermano l’importanza cruciale di disporre di un agente in grado di cambiare costantemente la frequenza, individuando anche ulteriori aree di sviluppo e di miglioramento.