Importance Resampling : two new algorithms for Bootstrap Estimation in high dimensions

The Bootstrap is well-known nonparametric method with a wide range of applications. It is exploited to estimate statistics and related quantities of interest based on a ran- dom sample. In practice, a Monte Carlo estimate of the Bootstrap estimate is utilised, which implies an additional error layer. Importance Resampling, a variance reduction technique, is applied in this thesis to the Monte Carlo estimates of a given quantile of statistics that are used in high-dimensional data to construct Simultaneous Confidence Bands (SCB)s. In the original works of Johns (1988), Do and Hall (1991) and Davi- son (1988), a technique known as Exponential tilting is used for such task, which fails in this context. We propose two new algorithms, namely Contribution Tilted Mixture (CTM) and Loss Tilting (LT), and show through a simulation study effectively reduce the variance of the Monte Carlo estimate of the Bootstrap estimate for statistics used in SCB construction, demonstrating it through a simulation study. We also run a brief ex- periment to show the need of Importance Resampling when using the Bootstrap for SCBs.

Il Bootstrap è un noto metodo non parametrico con una vasta gamma di applicazioni. Viene sfruttato per stimare statistiche e relative quantità d’interesse sulla base di un cam- pione casuale. In pratica, viene utilizzata una stima Monte Carlo della stima Bootstrap, il che implica un ulteriore livello di errore. Il ricampionamento dell’importanza, una tecnica di riduzione della varianza, viene applicato in questa tesi alla stima Monte Carlo di un dato quantile di statistiche che vengono utilizzate in dati ad alta dimensione per costruire bande di confidenza simultanee (SCB). Nei lavori originali di Johns (1988), Do and Hall (1991) e Davison (1988), viene utilizzata una tecnica nota come tilting esponenziale per tale compito, che fallisce in questo contesto. Proponiamo due nuovi algoritmi, ovvero Contribution Tilted Mixture (CTM) e Loss Tilting (LT), e mostriamo tramite uno studio di simulazione che riduce efficacemente la varianza della stima Monte Carlo della stima Bootstrap per statistiche che si usano nella costruzione di SCB, dimostrandolo tramite uno studio di simulazione. Eseguiamo anche un breve esperimento per mostrare la neces- sità del ricampionamento dell’importanza quando si utilizza Bootstrap per SCBs.