Multi-asset FX trading with FQI and action persistence

Because of its huge volume of transactions and great inherent flexibility, the Foreign Exchange market offers the exciting challenge of developing AI-based Automated Trading Systems to outperform human traders. However, learning to detect and exploit profitable trading opportunities is still difficult for autonomous agents due to the high volatility of exchange rates and the non-stationarity of market data. Moreover, these opportunities are present at many different time scales, but not all are equally easy to be learned. The signal-to-noise ratio has, indeed, a critical impact on the ability of autonomous agents to learn effectively. In this thesis, we model a realistic multi-asset trading environment as a Markov Decision Process and apply a batch Reinforcement Learning algorithm, called Fitted-Q Iteration, to train an agent to learn profitable strategies in the Foreign Exchange market. We introduce the concept of action persistence and focus on the importance of tuning the control frequency to better exploit intraday temporal patterns and lightening the impact of transaction costs. We backtest the trained models on real market data considering different currency pairs, including EUR/USD, GBP/USD, and AUD/USD, and compare the performances of multi-asset trading strategies with the returns obtained by those learned in the single-asset setting.

Il Foreign Exchange market offre l’entusiasmante sfida di sviluppare dei Sistemi di Trading Automatico capaci di garantire delle prestazioni migliori dei trader umani. Tuttavia, nonostante l’immenso volume di transazioni e la sua grande flessibilità, imparare come individuare e sfruttare delle profittevoli opportunità di trading rappresenta comunque una sfida difficile per un agente artificiale a causa della alta volatilità dei tassi di cambio e della non-stazionarietà dei dati di mercato. Inoltre, queste opportunità sono presenti in diversi time-frame, ma non sono tutte ugualmente facili da cogliere. Il rapporto segnale-rumore ha infatti un impatto cruciale sulla capacità dell’agente di imparare in modo efficace. In questa tesi abbiamo modellato un ambiente di trading multi-asset come un Processo Decisionale di Markov ed implementato un algoritmo di Reinforcement Learning, chiamato Fitted Q-Iteration, per addestrare un agente ad imparare autonomamente delle profittevoli strategie di trading nel Foreign Exchange Market. Abbiamo inoltre introdotto il concetto di persistenza dell’azione, focalizzandoci sull’importanza di regolare la frequenza di controllo per sfruttare meglio i pattern temporali ed alleggerire l’impatto dei costi di transazione. Infine, abbiamo testato i nostri modelli su dati reali di mercato e considerando diverse coppie di valute, tra cui EUR/USD, GBP/USD e AUD/USD.