Risk-sensitive reinforcement learning for the DVA hedging

Counterparty Risk, Credit Value Adjustment and Debt Value Adjustment are terms that have become part of the financial lexicon since the 2008 crisis, when important and generally considered risk-free institutions collapsed, proving the necessity of more stringent rules. In particular, in 2013, the DVA, a value adjustment related to the own credit risk, was included in the factors affecting the evaluation of Over-the-Counter derivatives. Due to the huge number of contracts in their portfolios, the application of hedging strategies for the risk associated to the DVA has become fundamental for investment banks. Unfortunately, perfect replicating strategies cannot be obtained. For this reason, Machine Learning techniques have been introduced. ML is a sector gaining increasing popularity over the last years, thanks to the impressive results achieved and the growing amount of data available. Within the setting of this thesis, the focus is on Reinforcement Learning, a sub-field of Machine Learning which involves the training of an algorithmic agent in order to learn autonomously by interaction with the environment. The main goal of this work is to make the agent able to define and implement a trading strategy with financial products related to the DVA hedging. In particular, because of the nature of the task, the notion of risk-aversion has been investigated: this is a peculiar criterion, which is different from the ones that only maximize profits and are usually exploited both in Reinforcement Learning and in the trading world.

Rischio di controparte, Credit Value Adjustment e Debt Value Adjustment sono termini entrati a far parte del lessico finanziario a partire dalla crisi del 2008, quando importanti istituzioni considerate prive di rischio sono fallite, dimostrando la necessità di regole più stringenti. In particolare, nel 2013, il DVA, un aggiustamento del valore di un contratto relativo al proprio rischio di credito, viene incluso tra i fattori da considerare nella valutazione di derivati Over-the-Counter. A causa dell'elevato numero di contratti presenti nei propri portafogli, per le grandi banche d'investimento diventa fondamentale applicare strategie di copertura del rischio collegato allo stesso DVA. Sfortunatamente, non è possibile ottenere strategie di replica che consentano un hedging perfetto. Per questo motivo sono state introdotte tecniche di Machine Learning, un settore che negli ultimi anni sta guadagnando crescente rilevanza grazie ai successi ottenuti e a una sempre maggiore disponibilità di dati. Nell'ambito di questa tesi, l'attenzione è posta sul Reinforcement Learning, una branca del Machine Learning che prevede l'addestramento di un agente algoritmico in grado di apprendere autonomamente tramite l'interazione con l'ambiente. L'obiettivo di questo lavoro è rendere l'agente capace di definire e applicare una strategia di trading con strumenti finanziari usati per la copertura del DVA. In particolare, data la natura del problema, è stato investigato il concetto di avversione al rischio, che si differenzia dai classici criteri di massimizzazione dei profitti, comunemente usati sia nel Reinforcement Learning che nel mondo del trading.