Reinforcement learning-based trading model for us sectors

In this thesis we present an examination and implementation of a Reinforcement Learning algorithm to develop a trading model for the US market sector indices. These indices are constructed according to the Global Industry Classification Standard (GICS). We incorporate both fundamental and technical financial indicators as features in order to improve forecasting accuracy, instead of relying only on historical price series. This enables us to handle the dynamic and complex nature of financial markets more efficiently. Our final objective is to employ the signals derived from the trading model to construct a market-neutral portfolio, which is a portfolio with a null net exposure with respect to the market. We perform an extensive analysis of selected financial indicators to evaluate their predictive capabilities. We therefore identify the most informative features that can be used to train our RL algorithm. We choose Fitted Q-Iteration algorithm to train a weekly trading model on historical daily data. The performance evaluation of the model is conducted on out-of-sample data, taking transaction costs into account. We were able to develop a trading model that produced positive results for most of the sector indexes during the testing period. However, the overall trading strategy displays high volatility. Despite these instability issues, a proper implementation of volatility control techniques could potentially make this approach able to produce an effective and stable trading strategy for US sectors.

In questa tesi presentiamo lo studio e l’implementazione di un algoritmo di Reinforcement Learning per sviluppare un modello di trading per gli indici dei settori del mercato americano. Questi indici sono costruiti secondo lo Standard di Classificazione Globale dell’Industria (GICS). Abbiamo considerato sia indicatori finanziari fondamentali che tecnici come variabili al fine di migliorare l’accuratezza delle previsioni, invece di affidarci solo alle serie storiche dei prezzi. Ciò ci consente di gestire in modo più efficiente la natura dinamica e complessa dei mercati finanziari. Il nostro obiettivo finale è quello di impiegare i segnali derivati dal modello di trading per costruire un portafoglio neutrale al mercato, ossia un portafoglio che ha un’esposizione netta nulla rispetto al mercato. Abbiamo effettuato un’analisi approfondita degli indicatori finanziari per valutare le loro capacità predittive. Abbiamo quindi identificato le variabili più informative da utilizzare nel nostro algoritmo di RL. Abbiamo scelto l’algoritmo Fitted Q-Iteration per costruire un modello di trading settimanale sui dati storici giornalieri. La valutazione delle performance del modello è stata condotta su dati out-of-sample, tenendo conto dei costi di transazione. Abbiamo sviluppato un modello di trading che ha prodotto risultati positivi per la maggior parte degli indici settoriali durante il periodo di test. Tuttavia, la strategia di trading complessiva presenta un’elevata volatilità. Nonostante questi problemi di instabilità, riteniamo che, con una corretta implementazione di tecniche di controllo della volatilità, questo approccio possa generare delle efficaci strategie di trading per gli indici settoriali americani.