Non-stationary reinforcement learning with automatic market regime clustering

The foreign exchange (forex) represents one of the largest and most active trading market. For this reason, it has naturally raised a lot of attention, including in the research community, to develop effective algorithms and system supporting automated trading. However, due to its highly dynamical and unpredictable nature, this objective represents a real challenge. Many works in literature attempted to tackle the problem, some of them explicitly focusing their attention on its inner non-stationarity. Very few of them, instead, tried addressing it through reinforcement learning. In this thesis, the objective is precisely to address the forex non-stationarity inside the framework of reinforcement learning. After examining the non-stationarity, the acquired knowledge has been used to design an approach to automatically identify different market regimes through clustering. Based on the experiments, this approach shows that it is theoretically possible to enhance the profits on the EUR/USD currency pair by using strategies explicitly trained on each market regimes, while empirical results leave it as a question whether these regimes can be exploited in practice, proving that this is possible in a synthetic environment. To the best of authors' knowledge, this represent the first reinforcement learning approach dealing with non-stationarity in the Foreign Exchange market through policy behaviour analysis.

Il foreign exchange (forex) rappresenta uno dei più grandi e attivi mercati di trading. Per questa ragione, nel corso del tempo ha naturalmente destato molte attenzioni, incluse quelle della comunità di ricerca, per sviluppare nuovi ed efficaci algoritmi e sistemi in grado di supportare il trading automatizzato. Ciononostante, a causa della sua natura altamente dinamica e non predicibile, questo obiettivo rappresenta una vera sfida. Molti lavori nella letteratura hanno tentato di esaminare il problema, alcuni di loro concentrandosi esplicitamente sulla sua non-stazionarietà. Pochissimi, invece, lo hanno affrontato tramite tecniche di reinforcement learning. In questa tesi, l'obiettivo è esattamente quello di affrontare la non-stazionarietà che caratterizza il mercato forex tramite questo paradigma di apprendimento. Una disamina della non-stazionarietà è stata eseguita e sfruttata per progettare un approccio in grado di identificare automaticamente differenti regimi di mercato per mezzo di tecniche di clustering. Sulla base di questi esperimenti, l'approccio ha mostrato che è teoricamente possibile migliorare i profitti sulla coppia di valuta EUR/USD, utilizzando strategie di mercato esplicitamente allenate sui regimi prima identificati; tuttavia, risultati empirici rispondono alla possibilità di sfruttare tali regimi solo in un ambiente sintetico. Al meglio delle conoscenze degli autori, ciò che è stato appena descrittto rappresenta il primo approccio di reinforcement learning che tenta di rispondere esplicitamente alla non-stazionarietà nel foreign exchange per mezzo dell'analisi del comportamento di un agente nel mercato.