Latent variable-based reinforcement learning for fx trading

The Foreign Exchange, also known as Forex, is a highly dynamic and active market for trading currencies, offering participants an exciting and challenging possibility to develop algorithmic trading strategies that can outperform human traders. However, learning and exploiting trading opportunities is difficult due to the high volatility and non-stationarity of the exchange rates, with the signal-to-noise ratio playing a significant role in effective learning. Trading opportunities are present at multiple time scales, but not all are easy to learn. Traditional methods tackle the problem by focusing on inner non-stationarity and using advanced statistical methods, but the potential of Reinforcement Learning remains largely untapped. This thesis introduces an efficient method to handle the complexity of this environment by combining the unsupervised training of deep Variational Auto-encoders and a state-of-the-art batch Reinforcement learning algorithm, Fitted Q-Iteration, without relying on any assumption about market dynamics. The key idea is to extract a latent representation of the time series and incorporate it as a feature space into the optimization procedure to exploit the structure of temporal sequences. Empirical evidence has shown that this method is effective in learning policies and, consequently, trading strategies on synthetic data and trading cash pairs, such as EUR/USD and USD/JPY. Additionally, it has demonstrated noticeable performance improvement compared to existing algorithms and strategies based on technical indicators. It can accumulate profit with good Sharpe ratios and minimal drawdowns, indicating low risk across various market conditions. To our knowledge, this research is the first to apply a two-step approach of latent models and Reinforcement Learning to Forex markets, showing great promise in overcoming the challenges of currency pairs intraday trading.

Il Foreign Exchange, anche noto come Forex, è un mercato altamente dinamico e attivo per il trading di valute, che offre ai partecipanti la possibilità stimolante ed eccitante di sviluppare strategie di trading algoritmico in grado di superare le prestazioni dei trader umani. Tuttavia, imparare a sfruttare le opportunità di trading è un’attività difficile a causa dell’alta volatilità e non stazionarietà dei tassi di cambio, con il rapporto di segnale-rumore che gioca un ruolo significativo nell’apprendimento. Le opportunità di trading sono presenti a diversi intervalli temporali, ma non tutte sono facili da apprendere. I metodi tradizionali affrontano il problema concentrando l’attenzione sulla non stazionarietà intrinseca utilizzando metodi statistici avanzati, ma il potenziale del Reinforcement Learning (apprendimento con rinforzo) rimane in gran parte inutilizzato. Questa tesi introduce un metodo efficiente per gestire la complessità di questo ambiente combinando l’addestramento non supervisionato di deep (profondi) Variational Auto-encoders e un algoritmo di batch Reinforcement Learning allo stato dell’arte, Fitted Q-Iteration, senza fare affidamento su alcuna assunzione relativa alle dinamiche di mercato. L’idea chiave è quella di estrarre una rappresentazione latente della serie temporale, e incorporarla nello spazio dei vettori delle features, per la fase di ottimizzazione e in grado di sfruttare la struttura delle sequenze temporali. L’ evidenza empirica ha dimostrato che questo metodo è efficace nell’apprendimento di politiche e, di conseguenza, strategie di trading su dati sintetici e nel trading di coppie di valute, come EUR/USD e USD/JPY. Inoltre, ha dimostrato un notevole miglioramento delle prestazioni rispetto agli algoritmi esistenti e alle strategie basate su indicatori tecnici. E in grado di accumulare profitti con buoni valori di Sharpe ratio e drawdowns minimi, indicando il suo basso rischio in diverse condizioni di mercato. Limitatamente alla nostra conoscenza, questa ricerca è la prima a combinare l’approccio a due fasi di modelli latenti e Reinforcement Learning nei mercati Forex, mostrando grandi potenzialità nel superare le sfide del trading giornaliero di coppie di valute.