Modeling and computational aspects of dependent completely random measures in Bayesian nonparametric statistics

Bayesian nonparametrics is a lively topic in the statistical literature. Thanks to its versatility, the approach applies to a wide range of modern applications, from machine learning to medicine. In particular, an intense research activity has been recently devoted to the development of dependent stochastic processes to be used as priors in nonparametric models. Exchangeability is indeed no longer the proper assumption in all contexts. Many datasets contain covariate information, that we wish to leverage to improve model performance. In a nutshell, dependent nonparametric processes extend existing nonparametric priors over measures, partitions, sequences, etc. to obtain priors over collections of such mathematical objects; members of these collections are associated with values in some metric covariate space, such as time or external measurements. This thesis illustrates different modeling strategies motivated by practical problems involving covariates, the main goals being density estimation and clustering. At the beginning, completely random measures are presented, since they are the leitmotif of the thesis and the Bayesian nonparametric models introduced afterwards are mainly built on top of them. In the following chapters (Chapter 2-5) the original contributions are illustrated. Chapter 2 presents a truncation method to a-priori approximate the mixing measure in an infinite mixture model; in particular, we focus on mixtures where the mixing measure is given by normalized completely random measures. Among the illustrative examples, we show how to easily include the covariates in the support of the measure. In Chapter 3, a different approach, where covariates enter directly in the prior for the random partition, is presented. This model is motivated by an health-care problem: profiling the different behaviors over time of blood donors. In Chapter 4 we address the issue of overestimating the number of components in mixture model, which typically occurs when using Dirichlet process mixtures. To this end, a model that induces a-priori separation among the group specific parameters is proposed. A class of determinantal point process mixture models defined via the spectral representation is explored. These models incorporate also dependence on covariates via mixtures of experts. In the final chapter, we introduce a class of time dependent processes taking values in the space of exponential completely random measures. These processes have an AR(1)-type structure and may be used as building block in latent trait models to develop, for instance, time dependent feature allocation models.

La statistica bayesiana nonparametrica è un'area di ricerca molto attiva, grazie alla sua flessibilità e alle più svariate applicazioni che motivano il suo sviluppo, dal machine learning alla medicina. In particolare, una parte della letteratura più recente è dedita all'introduzione di processi stocastici dipendenti (dal tempo, da covariate, ecc..) da utilizzare come prior nei modelli nonparametrici. Infatti, la tipica assunzione di scambiabilità non sempre è appropriata: in molti contesti, è possibile sfruttare delle informazioni aggiuntive, cioè le covariate, per migliorare la performance del modello statistico. In sintesi, processi nonparametrici dipendenti estendono le distribuzioni a-priori note in letteratura definite per misure, partizioni, ecc., su collezioni di tali oggetti matematici. Ogni elemento di questa collezione è associato a valori nello spazio delle covariate, come il tempo o altri tipi di misurazioni. Questa tesi illustra diversi approcci modellistici, motivati da applicazioni reali, il cui obiettivo è fare stima di densità e raggruppamento dei dati. Dopo aver introdotto i concetti di base della statistica bayesiana nonparametrica che vengono usati nella tesi, vengono presentati quattro capitoli contenenti il contributo originale di questo lavoro. Nella prima parte viene illustrato un'approssimazione di misure di probabilità aleatorie basate su un troncamento a-priori: queste vengono usate in modelli mistura la cui misturante è una misura completamente aleatoria normalizzata. Uno degli esempi, in particolare, considera il caso in cui il supporto della misura dipende dalle covariate. Un approccio molto differente è quello adottato nel capitolo successivo, dove le covariate influenzano in modo diretto la prior sulla partizione aleatoria. Il modello è motivato da un interessante problema applicativo in ambito sanitario: analizzare il comportamento dei donatori di sangue. A seguire, affrontiamo il problema della sovrastima del numero di gruppi nei modelli mistura: qui viene proposto ed illustrato un modello che a-priori induce separazione tra i parametri delle componenti della mistura, attaverso l'impiego di processi di punto che dipendono dal determinante di una certa matrice di varianza e covarianza. Le covariate sono incluse nel modello attraverso un approccio tipo ``mistura di esperti''. Infine, introduciamo una classe di processi dipendenti dal tempo che vivono nello spazio di particolari misure completamente aleatorie. I processi hanno una struttura di tipo autoregressivo e possono essere utilizzati facilmente in modelli più complessi.