Variational inference methods for Bayesian nonparametric models

In this work we review several techniques to perform Bayesian Nonparametrics using Variantional inference methods. We focus on the class of mixtures of Normalized Completely Random measures (NormCRMs). NormCRMs are almost surely discrete processes that are particularly suitable to be used as mixing distributions in the mixture model framework. Variational inference is a method for heuristic Bayesian inference, where the posterior is approximated by the element of a family of distributions that minimizes a given functional. We present and compare different methods proposed in the literature for variational inference with nonparametric models and show how to apply them to two different NormCRMs, the Normalized Generalized Gamma process (NGG) and the Bessel Random Measure. To evaluate the performace of these techniques when used with the different nonparametric models, we have implemented some of methods and we have performed several experiments in which these methods are used for density estimation and clustering. We fit a Gaussian mixture model with an NGG mixing measure to several different multivariate datasets, including the Yeast Cell Cycle dataset, consisting of gene expression profiles measured in various conditions of environmental stress, and the popular MNIST dataset, that is a collection of images, each one showing a handwritten digit. We investigate the role of the hyperparameters of the modelsp in the posterior estimates and analyse the the goodness of fit of the variational approximation of the fitted nonparametric model.

Nel presente lavoro di tesi presentiamo una rassegna di tecniche Bayesiane non parametriche che usano metodi di inferenza variazionale. Ci concentriamo sulla classe di misture di Misure Completamente Aleatorie Normalizzate (NormCRM), che sono misure quasi certamente discrete e quindi particolarmente adatte per essere usate come misure misturanti di un modello mistura. L'inferenza variazionale è un metodo di inferenza Bayesiana approssimata, in cui si approssima la posterior con l'elemento di una famiglia di distribuzioni che minimizza un certo funzionale che dipende dalla posterior esatta. Presentiamo e confrontiamo diversi metodi proposti in letteratura per inferenza variazionale con modelli non parametrici, e mostriamo come applicarli a due diverse NormCRM: il processo gamma generalizzato normalizzato (NGG) e la misura aleatoria di Bessel. Per valutare le prestazioni di queste tecniche quando usate con i diversi modelli non parametrici abbiamo implementato alcuni dei metodi ed abbiamo effettuato una serie di esperimenti in cui questi metodi sono usati per effettuare stime di densità e clustering. Approssimiamo la posterior di un modello mistura Gaussiano con una misura misturante di tipo NGG in una serie di dataset multivariati, inclusi il dataset chiamato in letteratura Yeast Cell Cycle, che consiste nella raccolta dei profili di espressione genetica di una cellula misurati in varie condizioni di stress ambientale, e il dataset MNIST, che consiste in una serie di immagini, ognuna raffigurante una cifra scritta a mano. Investighiamo il ruolo degli iperparametri dei modelli e analizziamo la bontà dell'approssimazione variazionale della posterior.