An online learning algorithm for real-time bidding

Online Advertising has reached an outstanding economic relevance in the last years. According to a recent report, the overall market revenue for 2022 amounted to $\$209.7$ billion, with a year-over-year growth of $10.8\%$. \textit{Real-Time Bidding} (RTB) is a recent ad placement method that plays a significant role in the industry's growth. Research on RTB is prosperous due to its ability to generate impressions in real-time, leveraging user data and placing ads through an auction mechanism upon each user's visit. In recent years, a segment of the RTB industry has adopted \textit{First-Price Auctions} as opposed to the established Second-Price Auctions. This shift has increased research attention to the topic due to the complexity of bidding under First-Price Auctions. In this study, we focus on the problem of Bidding Strategy Optimization under First-Price Auctions. Specifically, the goal is to select bids so to maximize the expected profit for the advertiser based on each user's contextual information. We develop a novel Upper Confidence Bound (UCB) algorithm to optimize the bidding strategy, making use of the \textit{optimism in-the-face-of-uncertainty} technique to provide a better estimation of the expected reward for each available bid amount. We evaluate our solution by means of the auction simulation environment \textit{Amazon AuctionGym} against target Multi-Armed Bandits (MABs) baselines and asses its effectiveness by running two experiments. Our results show that our algorithm improved the baselines by reducing the cumulative regret by up to $90\%$ in terms of cumulative regret, allowing for a faster convergence.

Negli ultimi anni, l'Advertising Online ha raggiunto una rilevanza economica straordinaria. Secondo un recente rapporto, il fatturato complessivo del mercato per il 2022 ammonta a $209,7$ miliardi di dollari, con una crescita su base annua del $10,8\%$. Il \textit{Real-Time Bidding} (RTB) è un metodo di posizionamento degli annunci recente che svolge un ruolo significativo nella crescita del settore. La ricerca in RTB è fiorente per via della sua capacità di generare impressioni in tempo reale, sfruttando i dati degli utenti e collocando gli annunci attraverso un meccanismo d'asta invocato al momento della visita di ciascun utente. Negli ultimi anni, parte dell'industria RTB ha adottato le \textit{First-Price Auctions} (aste al primo prezzo), in contrapposizione alle consolidate \textit{Second-Price Auctions} (aste al secondo prezzo). Questo cambiamento ha aumentato l'attenzione della ricerca sull'argomento a causa della complessità derivata dalle First-Price Auctions. In questo studio ci concentriamo sul problema dell'ottimizzazione della strategia di \textit{bidding} nelle First-Price Auctions. In particolare, l'obiettivo è quello di selezionare le offerte in modo da massimizzare il profitto atteso per gli inserzionisti sulla base delle informazioni contestuali di ciascun utente. Sviluppiamo un nuovo algoritmo \textit{Upper Confidence Bound} (UCB) per ottimizzare la strategia di offerta, facendo uso della tecnica \textit{optimism in-the-face-of-uncertainty} per fornire una migliore stima del valore atteso del profitto per ogni valore di \textit{bid} disponibile. Per testare la nostra soluzione facciamo uso dell'ambiente di simulazione d'asta Amazon AuctionGym, la confrontiamo rispetto agli algoritmi di tipo \textit{Multi-Armed Bandits} (MABs) di riferimento e ne valutiamo l'efficacia in ambiente simulato. I risultati mostrano che il nostro algoritmo migliora gli algoritmi MABs di riferimento riducendo di quasi il $90\%$ il \textit{regret} cumulativo, consentendo una convergenza molto più rapida.