Reinforcement Learning for digital advertising cross-channel budget optimization

Digital advertising has become an essential tool for businesses, driven by the increasing use of the internet, cost-effectiveness, precise targeting, and measurable performance metrics. It removes geographic barriers, enabling global reach and integration with other digital marketing strategies. However, as digital advertising grows, efficiently allocating budgets across multiple campaigns has become a critical challenge. Businesses need to determine how much to invest in specific campaigns over others to maximize the overall revenue and conversions generated by their advertisements. Traditional budget allocation methods rely heavily on human expertise, which often struggles to capture the highly dynamic nature of advertising environments. These environments are inherently stochastic, exhibit time-delayed revenue effects, and follow seasonal trends, making the budget optimization increasingly complex. In order to solve this problem, this thesis focuses first on designing a simulator that models the dynamics of an advertising environment, including how user interest evolves over time and leads to conversions. Calibrated with real-world data, the simulator generates synthetic data that follows the structure of a Markov Decision Process (MDP), capturing the sequential and stochastic nature of budget allocation decisions. This structured data serves as the foundation for training a reinforcement learning algorithm. Specifically, the Fitted Natural Actor-Critic (FNAC) method is employed to learn to allocate resources across different advertising channels depending on the current state of the environment. Through extensive experimentation, this research demonstrates that RL-based strategies like FNAC significantly enhance budget efficiency and adaptability compared to traditional optimization approaches. The results show that RL not only improves budget allocation decisions but also adapts dynamically to changing market conditions, offering a promising direction for the future of digital advertising management.

La pubblicità digitale è diventata uno strumento essenziale per le aziende, grazie alla crescente diffusione di Internet, alla sua convenienza, al targeting preciso e alla possibilità di misurare le prestazioni. Essa elimina le barriere geografiche, consentendo un’ampia portata globale e un’integrazione efficace con altre strategie di marketing digitale. Tuttavia, con la crescita della pubblicità digitale, allocare in modo efficiente i budget tra più campagne è diventata una sfida cruciale. Le aziende devono determinare quanto investire in specifiche campagne rispetto ad altre per massimizzare le conversioni e il ricavo complessivo generati dagli annunci pubblicitari. I metodi tradizionali di allocazione del budget si basano fortemente sull’esperienza umana, che spesso fatica a catturare la natura altamente dinamica degli ambienti pubblicitari. Questi ambienti sono intrinsecamente stocastici, presentano effetti ritardati sui ricavi e seguono tendenze stagionali, rendendo l’ottimizzazione del budget sempre più complessa. Per affrontare questo problema, questa tesi si concentra inizialmente sulla progettazione di un simulatore in grado di modellare le dinamiche di un ambiente pubblicitario, includendo l’evoluzione dell’interesse degli utenti e la generazone delle conversioni. Calibrato con dati reali, il simulatore genera dati sintetici che seguono la struttura di un Processo Decisionale di Markov (MDP), catturando la natura sequenziale e stocastica delle decisioni di allocazione del budget. Questi dati strutturati vengono utilizzati per addestrare un algoritmo di apprendimento per rinforzo (RL). In particolare, viene applicato il metodo Fitted Natural Actor-Critic (FNAC) per apprendere come allocare le risorse tra i diversi canali pubblicitari in base allo stato attuale dell’ambiente. Attraverso un’ampia sperimentazione, questa ricerca dimostra che strategie basate sul RL, come FNAC, migliorano significativamente l’efficienza del budget e la capacità di adattamento rispetto ai metodi di ottimizzazione tradizionali. I risultati mostrano che il RL non solo ottimizza le decisioni di allocazione del budget, ma si adatta dinamicamente ai cambiamenti delle condizioni di mercato, offrendo una direzione promettente per la gestione futura della pubblicità digitale.