A McMC method for the analysis of large datasets via generalized linear model

Markov chain Monte Carlo are a class of computational statistics algorithms, used to sample from a known probability distribution. Because of their potentialities, they are widely used in the scientific literature. They are based on Markov chains, deeply studied random processes, and their properties. The goal of our work is to introduce, describe and implement a particular type of Markov chain Monte Carlo: the Hamiltonian Monte Carlo. Firstly introduced by Duane et al. in 1987, despite its potentiality, it is not part of the Monte Carlo methods usually studied. The main characteristic of Hamiltonian Monte Carlo is that, at each step of the sampler scheme, a simulation of an Hamiltonian dynamics is included. This peculiarity improves several aspects of the sampler, analyzed in this work. Finally we apply the algorithm to a simulated dataset using a generalized linear model through the Bayesian approach. The posterior estimates that we get are in complete agreement with the true values of the regression parameters used to generate the data, showing the good performance of the Hamiltonian Monte Carlo in this case. All the algorithms developed for the applications in this thesis are implemented in R language. This thesis has been written at Chalmers Tekniska Hogskola (Goteborg, Sweden), at the Mathematics Department, under the supervision of doctor Anders Sjogren.

I metodi Monte Carlo per catene di Markov sono uno strumento di statistica computazionale molte potente e diffuso, utilizzato per campionare variabili aleatorie data la loro distribuzione di probabilità . Essi si basano sulle propriet` delle catene di Markov, un particolare tipo di processo aleatorio le cui caratteristiche sono state ampiamente studiate. Lo scopo di questo lavoro è introdurre, descrivere ed implementare uno di questi metodi, particolarmente interessante per le sue proprietà : l’Hamiltonian Monte Carlo. Introdotto per la prima volta da Duane et al. nel 1987, nonostante le sue notevoli potenzialità non e parte dei metodi Monte Carlo solitamente studiati. La sua principale differenza con i metodi classici e che esso include nel proprio algoritmo la risoluzione di un sistema Hamiltoniano, peculiarità che ne migliora diversi aspetti. Infine applichiamo l’algoritmo ad un dataset simulato, utilizzando un modello di regressione lineare generalizzata tramite un approccio Bayesiano. La stima delle distribuzioni a posteriori che otteniamo corriponde perfettamente ai valori reali dei parametri di regressione utilizzati per generare i dati, mostrando la bontà del metodo descritto. Tutti gli algoritmi presentati in questo lavoro sono stati implementati in linguaggio R. Questa tesi e stata scritta all’Università di Chalmers (Goteborg, Svezia), nel Dipartimento di Matematica, sotto la supervione del dottor Anders Sjogren.