Exploiting continuous action space in FX trading with reinforcement learning

In recent years, the popularity of artificial intelligence (AI) has surged due to its widespread application in various fields. The financial sector has harnessed its advantages for multiple purposes, including the development of automated trading systems. These systems are designed to interact autonomously with the markets and have demonstrated superior performance compared to human agents. In any case, due to the great volatility and unpredictability of the markets, the need for systems capable of recognizing and managing market trends while limiting potential losses has become increasingly crucial. In this work, we focus on the Foreign Exchange market, known for its extensive liquidity and flexibility. Our approach involves the implementation of a Reinforcement Learning algorithm called Fitted Natural Actor-Critic. This algorithm enables the training of an agent that can effectively interact with the market by utilizing continuous actions, thanks to which it is possible to define both the type and the size of the order to be executed. Furthermore, the adoption of a continuous action space allows for more realistic modelling of transaction costs, as they are dependent on the size of the executed order. In addition, it also facilitates the integration of risk-averse approaches, able to induce more conservative behaviour in the agent.

Negli ultimi anni l’intelligenza artificiale è divenuta sempre più popolare grazie al suo crescente utilizzo in ambiti di ogni tipo. Il settore finanziario ha saputo sfruttarne le sue caratteristiche per diversi impieghi, fra cui lo sviluppo di sistemi di trading automatico. Questi sistemi sono in grado di interagire in maniera autonoma con i mercati, dimostrando anche performance superiori rispetto a quello ottenute da trader umani. In ogni modo a causa della grande volatilità e imprevedibilità dei mercati, è diventata sempre più cruciale la necessità di sviluppare sistemi in grado di poter riconoscere e gestire i vari trend di mercato limitando le potenziali perdite. In questo lavoro ci siamo soffermati sul Foreign Exchange market, conosciuto per la sua enorme liquidità e flessibilità. Il nostro approccio ha previsto l’implementazione di un algoritmo di Reinforcement Learning chiamato Fitted Natural Actor-Critic. Questo algoritmo ci ha permesso di addestrare un agente in grado di interagire con il mercato utilizzando azioni continue, con il quale è possibile definire sia la tipologia che l’importo dell’ordine da eseguire. Attraverso l’utilizzo di azioni in un spazio continuo siamo anche riusciti a modellare in maniera più realistica i costi di transazione, rendendoli dipendenti dall’importo dell’ordine eseguito. Infine, ha facilitato l’integrazione di approcci di avversione al rischio, in grado di imprimere un comportamento più conservativo all’agente.