To conformalise or not to conformalise in growth-at-risk analysis? Assessing the empirical performance of calibrated versus non-calibrated quantile prediction models

Accurate computation of robust estimates for extremal quantiles of empirical distributions is essential for a wide range of applications, including those in policymaking and the financial industry. These estimates are particularly critical for the calculation of risk measures such as Growth-at-Risk (GaR) and Value-at-Risk (VaR). This thesis presents an extensive simulation study and a real-world analysis of GaR to examine the benefits of using Conformal Prediction for quantile estimation. This work represents the first application of Conformal Prediction, traditionally used to generate prediction intervals, for the estimation of quantiles. Our findings show that Conformal Prediction methods consistently enhance the calibration and robustness of quantile estimates across all levels, especially at extreme quantiles, which are critical for risk assessment and where traditional methods often fall short. Additionally, we introduce a novel property that guarantees coverage under the exchangeability assumption, providing a valuable tool for managing risks by quantifying and controlling the likelihood of future extreme observations..

Stimare con precisione quantili estremi è un compito cruciale con significative implicazioni empiriche. I quantili estremi sono essenziali nel policymaking e nell’industria finanziaria, ad esempio per calcolare misure di rischio come il Growth-at-Risk (GaR) e il Value-at-Risk (VaR). In questa tesi, conduciamo un ampio studio di simulazione e un’analisi reale di GaR per studiare i possibili benefici dell’implementazione di Conformal Prediction alla stima dei quantili. Questo lavoro rappresenta la prima applicazione di Conformal Prediction, tradizionalmente utilizzata per generare intervalli di previsione, alla stima dei quantili. I nostri risultati dimostrano che i metodi di Conformal Prediction migliorano costantemente la calibrazione e la robustezza delle stime dei quantili a tutti i livelli quantilici, ma in particolare per i quantili estremi, dove i metodi tradizionali spesso falliscono. Inoltre, introduciamo una nuova proprietà che garantisce una copertura sotto l’ipotesi di exchangeability, fornendo uno strumento prezioso per gestire il rischio, quantificando e controllando la probabilità di future osservazioni estreme.