Reinforcement learning for market and limit orders placement in a Forex trading scenario

This thesis explores the application of a batch reinforcement learning algorithm, Fitted Q-Iteration (FQI), to Foreign Exchange (Forex) trading using both market and limit orders. Limit orders are a peculiar type of trading orders which are not executed immediately, as market orders, but they set a condition over market price that requires to be satisfied in order to execute the order at the desired price. While previous works have focused on market orders, this study aims to show how limit orders can be used to increase trading opportunities and achieve greater profits. Forex market represents a suitable scenario for this specific task since it is characterized by high liquidity, which can help the satisfaction of the condition imposed by limit orders. Our reinforcement learning agent is trained using real historical market data in an offline fashion, with the goal of correctly identifying relevant patterns inside the data and leveraging this knowledge to choose between market orders and a set of limit orders to optimize the overall profit. An ad-hoc problem formulation is necessary to introduce limit orders in the model and the concept of action persistence proved to be essential for this purpose. To validate the initial hypothesis of this study, meaningful comparisons are made between models that are only capable of placing market orders and those that can also place limit orders.

Questa tesi esplora l'applicazione di un algoritmo di apprendimento per rinforzo batch, Fitted Q-Iteration (FQI), al trading sul Foreign Exchange (Forex) tramite il piazzamento di ordini sia market che limit. Gli ordini limit sono un tipo particolare di ordini di trading che non vengono eseguiti immediatamente, come gli ordini di mercato, ma stabiliscono una condizione sul prezzo di mercato che deve essere soddisfatta per eseguire l'ordine al prezzo desiderato. Mentre i lavori precedenti si sono concentrati sugli ordini market, questo studio mira a mostrare come gli ordini limit possano essere utilizzati per aumentare le opportunità di trading e raggiungere maggiori profitti. Il mercato Forex rappresenta uno scenario adatto per questa specifica attività poiché è caratterizzato da un'elevata liquidità che può aiutare a soddisfare la condizione impostata dagli ordini limit. Il nostro agente di apprendimento per rinforzo è addestrato usando dati di mercato storici reali in modo offline, con l'obiettivo di identificare correttamente dei pattern rilevanti all'interno dei dati e sfruttare questa conoscenza per scegliere tra i due tipi di ordine, per ottimizzare il profitto complessivo. È stata necessaria una formulazione del problema ad hoc per introdurre gli ordini limit nel modello e il concetto di persistenza dell'azione si è rivelato essenziale per questo scopo. Sono stati effettuati confronti rilevanti tra i modelli che possono solo piazzare ordini market e i modelli in grado di piazzare entrambi i tipi per convalidare l'intuizione iniziale di questo lavoro.