Two reinforcement learning algorithms for trading and DVA hedging problems

Since the financial crisis of 2008, in which even the largest financial institutions have seen the eventuality of their bankruptcy materialize, terms such as counterparty risk, credit and debit value adjustment have become part of the daily life of the financial world. In particular, the DVA, a correction of the contracts fair value due to the possibility that the institution itself is in default, becomes a relevant factor especially in the valuation of OTC products. This is why large investment banks consider it essential to hedge against exposure to the DVA itself. The nature of this element, however, makes it particularly challenging to do hedging as it is difficult to find tools that replicate its changes in value, so it was necessary to use techniques such as reinforcement learning. Reinforcement learning, a branch of machine learning, which is gaining increasing popularity thanks to the increasing availability of data, involves training an agent, able to interact with the environment, with the aim of maximizing its profits. The goal of this work is to investigate the effectiveness of reinforcement learning applied to the DVA coverage problem, but, given the complexity of the problem, it then focuses on a simplified context, reducing it to a trading-only problem.

A partire dalla crisi finanziaria del 2008, in cui anche le più grandi istituzioni finanziarie hanno visto concretizzarsi l'eventualità del loro fallimento, termini quali rischio di controparte, credit e debit value adjustment sono entrati a far parte della quotidianità del mondo finanziario. In particolare, il DVA, una correzione del fair value dei contratti dovuta alla possibilità che l'istituzione stessa sia inadempiente, diventa un fattore rilevante soprattutto della valutazione di prodotti OTC. Per questo le grandi banche di investimento ritengono fondamentale coprirsi contro l'esposizione al DVA stesso. La natura di questo elemento, però, rende particolarmente ostico fare hedging in quanto è difficile trovare stumenti che replichino i suoi cambiamenti di valore, per cui si è reso necessario l'utilizzo di tecniche quali il reinforcement learning. Il reinforcement learning, branca del machine learning, che sta acquistando crescente popolarità grazie alla sempre maggiore disponibilità di dati, prevede l'addestramento di un agente, in grado di interagire con l'ambiente, con lo scopo di massimizzare i propri profitti. L'obiettivo di questo lavoro è investigare l'efficacia del reinforcement learning applicato al problema di copertura del DVA, ma, data la complessità del problema, si focalizza successivamente su una semplificazione del contesto, riducendolo a un problema di solo trading.