FX trading with reinforcement learning : an application of fitted Q iteration (FQI)

This thesis is part of a project developed in collaboration with the AGS SpA (Advanced Global Solution) company, with the aim of applying Reinforcement Learning techniques to Foreign Exchange (Forex - FX) trading. The main goal of this thesis is to apply a Reinforcement Learning technique, one of the three fields of Machine Learning, to FX trading, in particular to the €/$ pair and evaluate the performance (in backtest). Machine Learning deals with the study and implementation of algorithms that are capable of learning information directly from the data and making predictions on them: these algorithms go beyond the classic approach of following a set of static instructions. We formulated the trading activity as a Markov decision process and we applied a Reinforcement Learning algorithm, called Fitted Q Iteration (FQI), where the reward is represented as the profit generated by the adopted trading strategy. Results have been compared with those of a classic trading strategy (daily Buy&Hold).

Questa tesi fa parte di un progetto sviluppato in collaborazione con l’azienda AGS SpA (Advanced Global Solution), con l’obiettivo di applicare tecniche di Reinforcement Learning al trading su Foreign Exchange (Forex - FX). Lo scopo di questa tesi è quello di applicare una tecnica di Reinforcement Learning, una branca del Machine Learning, al trading su FX, in particolare sulla coppia euro/dollaro (€/$) e valutarne le performance (in backtest). Il Machine Learning si occupa dello studio e dell’implementazione di algoritmi che siano capaci di apprendere informazioni direttamente dai dati e fare previsioni su di essi: tali algoritmi superano il classico approccio del seguire un insieme di istruzioni statiche. Abbiamo formulato l’attività di trading come un processo decisionale di Markov e abbiamo applicato un algoritmo di Reinforcement Learning, chiamato Fitted Q Iteration (FQI), dove la reward è rappresentata come il profitto generato dalla strategia di trading adottata. I risultati sono stati comparati con quelli di una strategia classica nei mercati finanziari (daily Buy&Hold).