Dynamic trading strategy for a risk-averse investor via the Q-learning algorithm

In multi-period trading with realistic market impact, determining the dynamic trading strategy that optimizes expected utility of final wealth is a challenging problem even if we consider a single asset. The goal of this work is to show that a reinforcement learning technique known as Q-Learning can successfully handle the risk-averse case, if we are able to select an appropriate choice of the reward function. We will provide a proof of concept in the form of a simulated market which permits a statistical arbitrage even with trading costs. We will show that the Q-learning agent is able to find and use this arbitrage even if in principle it is not aware of it.

Nel trading multi-periodale con un realistico impatto sul mercato, determinare la strategia di trading dinamica che ottimizza l’utilità attesa della ricchezza finale è un problema impegnativo anche se consideriamo un singolo asset. L’obiettivo di questo lavoro è mostrare che una tecnica di reinforcement learning nota come Q-Learning può gestire con successo il caso di un investitore avverso al rischio, se siamo in grado di selezionare una appropriata funzione di ricompensa. Forniremo una dimostrazione di tale concetto in un mercato simulato che consente un arbitraggio statistico anche considerando costi di trading. Mostreremo che l’agente, che sfrutta l’algoritmo Q, è in grado di trovare e utilizzare questo arbitraggio anche se in linea di principio non ne è a conoscenza.