Market timing strategies with fitted q-iteration and action persistence

In this Thesis, we present an investigation and implementation of a Reinforcement Learning algorithm for developing a market timing model on financial indexes from various sectors and geographical areas. More specifically, the project aims to generate signals with different frequencies. The minimum frequency considered was ten days because, with lower frequencies, we would model the noise present in this financial series. In order to develop a realistic model, transaction costs were included and a broad set of financial features was carefully selected to define the environment state. After a meticulous feature selection process, a Fitted Q-Iteration algorithm was trained to generate profitable market timing signals. Along with the hyperparameters of FQI, different values of action persistence were tested to analyze its impact on performance. To evaluate the effectiveness of the model, the performance evaluation was conducted on out-of-sample data and the return obtained by the agent was compared against different baseline strategies. Experimental results show that our trading model manage to generate positive results for most of the indexes considered.

In questa Tesi, presentiamo un'indagine e l'implementazione di un algoritmo di Apprendimento Rinforzato per lo sviluppo di un modello di timing di mercato su indici finanziari di vari settori e aree geografiche. Più specificamente, il progetto mira a generare segnali con diverse frequenze. La frequenza minima considerata è stata di dieci giorni, se ne avessimo scelta una minore avremmo probabilmente tentato di interpretare il rumore presente in queste serie storiche. Al fine di sviluppare un modello realistico, sono stati inclusi i costi di transazione e da un ampio insieme di variabili finanziarie sono state selezionate quella che definiranno lo stato dell'ambiente. Dopo un accurato processo di selezione delle esogene, è stato addestrato un algoritmo di Fitted Q-Iteration per generare segnali di timing di mercato. Insieme agli iperparametri di FQI, sono stati testati diversi valori di persistenza dell'azione per analizzare come questa impattasse sulle prestazioni. Per valutare l'efficacia del modello, è stato condotto un test su dati fuori campione e le sue performance sono state confrontate con diverse strategie di riferimento. I risultati sperimentali mostrano che il nostro modello riesca a generare risultati positivi per la maggior parte degli indici considerati.