Hidden Markov model for single user response prediction in Digital Advertising Campaigns

Online advertising is a multi-billion dollar industry, and for marketers being able to optimize their budget spent is crucial. Today, innovation in technology leads to a wide variety of different digital advertising formats, ranging from search advertising to social media campaigns. Marketing experts struggle to infer which of these campaigns are the most effective, and how to attribute them a weight in driving customers to a conversion event. This thesis addresses the Attribution Problem considering the conversion paths followed by individual users. We model the users' involvement in an advertising campaign exploiting the Conversion Funnel, and deduct the effect of each advertising event considering a Hidden Markov Model that characterises a user's behaviour in different positions of the Conversion Funnel. To optimize the advertising campaign, we propose a method based on a customised version of the Policy Gradients with a Parameter-based Exploration algorithm to determine the optimal policy that maximises the conversion rate of a campaign with the same cumulative budget. It is essential to consider that the information on customers' interactions during an advertising campaign when considering a granularity up to the single exposition event is difficult to obtain. Hence, we propose an Advertising Campaign Simulator to emulate the behaviour of users during a marketing event.

Oggi, il digital-advertising rappresenta un'industria da centinaia di miliardi di dollari, e per gli investitori essere in grado di ottimizzare la loro spesa è vitale. Le recenti innovazioni tecnologiche hanno dato luce alle più svariate tipologie di annunci online, le quali spaziano dalle semplici campagne sui motori di ricerca a quelle sui social media, ed anche i professionisti più esperti stentano a determinare le influenze e gli effetti di ciascuna di queste campagne sugli utenti finali. Questa tesi propone un metodo di risoluzione per il problema dell'attribuzione, considerando il percorso che ciascun singolo utente segue dalla prima esposizione ad una campagna pubblicitaria sino all'acquisto. Si propone di modellizzare l'utente attraverso un funnel che rappresenti i vari stati di coinvolgimento dell'utente, e di dedurre per ognuno di questi stati l'influenza di ciascuno degli annunci che costituiscono la campagna pubblicitaria attraverso un modello di Markov a stati nascosti. Infine, viene proposto un metodo basato su una versione personalizzata dell'algoritmo PGPE, per ottimizzare la distribuzione di budget e massimizzare il tasso di conversione a parità di budget complessivo. Vista la difficoltà nel raccogliere dati di una campagna di marketing con granularità del singolo utente, viene introdotto un simulatore di campagne pubblicitarie (ACS), che simuli quanto meglio il comportamento di ogni utente.