Reinforcement learning for DVA hedging

After the global financial crisis in 2008 with the whole system being in trouble, markets have drastically changed. Regulators have become stricter so to construct a more reliable banking system. During latest years the Basel Committee has issued revised capital requirements for trading book exposures to strengthen capital requirements for Counterparty Credit Risk (CCR) and encourage moving OTC derivative contracts to central counterparties and clearing house. IFRS 13 Fair Value Measurement (a set of international accounting standards) requires different adjustments to the risk-neutral price to account for counterparty risk and funding costs in the risk management of OTC derivatives. In particular, it establishes that the own credit risk must be contemplated into the fair value measurement of a derivative (meaning that, after Lehman Brothers, also huge banks are no more considered as risk-free entities) and thus the origin of Debt Valuation Adjustment (DVA). Machine Learning is a technological breakthrough and the recent improvements in image recognition via convolutional neural networks and natural language processing via recurrent neural networks have allowed to achieve great results such as beating Go world champion or being on par with human at language translation and with dermatologists at the visual detection of skin cancer. Hence, it leads to an interesting question in the context of trading: can we construct an algorithm to beat experienced human traders on the financial markets? Major investment banks and hedge funds are eager to find out if Machine Learning algorithms could perform equally well in detecting patterns in financial series. In this thesis, we explore how to build an hedging trading strategy for DVA via Reinforcement Learning, a quite new branch of Machine Learning that allows an agent-algorithm to find an optimal strategy for a sequential decision problem by a continuous interaction with the environment.

Nel 2008 l'intero sistema economico è stato messo a dura prova dalla crisi finanziaria. I regolatori hanno cambiato atteggiamento, diventando più severi, allo scopo di costruire un sistema bancario più solido. La Commissione di Basilea ha rivisto i requisiti di capitale riguardanti il rischio di controparte, cercando di incoraggiare le banche a spostare i derivati OTC nelle clearing house o controparti centralizzate, per ridurre al minimo questo rischio. Il Fair Value Measurement IFRS 13 (un insieme di norme contabili internazionale) richiede differenti aggiustamenti al prezzo risk-neutral per prendere in considerazione, appunto, il rischio di controparte e il costo di finanziamento. In particolare stabilisce che durante il pricing dello strumento derivato debba esser considerato il proprio rischio di credito: da qui nasce, appunto, il Debt Valuation Adjustment (DVA). Il Machine Learning è senza dubbio una rivoluzione tecnologica. I recenti sviluppi in riconoscimento d'immagine via convolutional neural networks e nell’interpretazione del linguaggio umano attraverso le recurrent neural networks hanno permesso di raggiungere risultati strabilianti, come battere il campione mondiale di Go, esser al pari degli umani nel riconoscimento vocale o raggiungere il livello dei migliori dermatologi nell'individuare il cancro della pelle da un'immagine. Non è quindi una sorpresa che le maggiori banche d'investimento stiano cercando di scoprire se gli algoritmi di Machine Learning possano battere trader esperti e individuare schemi ricorrenti nelle serie finanziarie. In questa tesi esploriamo quindi come costruire una strategia di trading per la copertura del DVA attraverso il Reinforcement Learning, una branca piuttosto recente del Machine Learning, che permette all'agente-algoritmo di imparare autonomamente una strategia performante per un problema di controllo ottimo stocastico a tempo discreto attraverso l'interazione diretta con l'ambiente.