Learning algorithms for generalized principal-agent problems

Since the seminal contribution of Myerson (1982), the generalized principal-agent problem has become a foundational framework for the analysis of asymmetric interactions between strategic parties, in which a principal designs incentive schemes to induce the behavior of rational, self-interested agents toward desired outcomes. This framework plays a crucial role in the study of economic interactions in modern digital economies, where platforms and institutions interact on a daily basis with strategic entities with potentially misaligned objectives. Some remarkable examples include crowdsourcing platforms, where a central platform must design payment schemes to incentivize workers to complete tasks despite not being able to directly observe the level of effort exerted. Similarly, in digital advertising markets, platforms have access to information about users and must decide how to disclose such information to self-interested advertisers whose actions directly affect the revenue generated. Despite its broad applicability, the classical formulation of the generalized principal-agent problem relies on strong assumptions that limit its relevance in practice. Specifically, it requires that the principal fully knows the agents’ characteristics as well as the stochastic structure of the environment in order to compute optimal strategies. In practice, such knowledge is not available beforehand. In this thesis, we address these limitations by incorporating online learning and reinforcement learning techniques into the classical formulation of the generalized principal-agent problem. We study sequential decision-making settings that allow the principal to operate without prior knowledge of the agents' features, by designing theoretically grounded algorithms that adapt to the environment over time. This approach provides a framework for modelling and analyzing data-driven strategies that better reflect the evolving nature of contemporary digital economic ecosystems, where central agencies and platforms must learn how to influence strategic agents over time.

A partire dal contributo fondamentale di Myerson (1982), il problema del principale-agente generalizzato è diventato un quadro di riferimento essenziale per l'analisi delle interazioni asimmetriche tra parti strategiche, in cui un principale progetta schemi di incentivi per orientare il comportamento di agenti razionali verso i risultati desiderati. Questo framework svolge un ruolo cruciale nello studio delle interazioni economiche nelle moderne economie digitali, dove piattaforme e istituzioni interagiscono quotidianamente con entità strategiche che presentano obiettivi potenzialmente divergenti. Alcuni esempi significativi includono le piattaforme di crowdsourcing, dove una piattaforma centrale deve progettare schemi di pagamento per incentivare i lavoratori a completare i compiti, pur non potendo osservare direttamente il livello di impegno profuso. Allo stesso modo, nei mercati della pubblicità digitale, le piattaforme dispongono di informazioni sugli utenti e devono decidere come divulgarle ad inserzionisti interessati, le cui azioni influenzano direttamente i ricavi generati. Nonostante la sua ampia applicabilità, la formulazione classica del problema del principale-agente generalizzato si basa su ipotesi restrittive che ne limitano la rilevanza pratica. Nello specifico, essa richiede che il principale conosca appieno le caratteristiche degli agenti e la struttura stocastica dell'ambiente per poter calcolare le strategie ottimali. Nella pratica, tale conoscenza non è disponibile a priori. In questa tesi, affrontiamo tali limitazioni integrando tecniche di online learning e reinforcement learning nella formulazione classica del problema del principale-agente generalizzato. Studiamo scenari di decision-making sequenziale che consentono al principale di operare senza una conoscenza preventiva delle caratteristiche degli agenti, progettando algoritmi teoricamente fondati che si adattano all'ambiente nel tempo. Questo approccio fornisce un quadro per modellare e analizzare strategie basate sui dati che riflettono meglio la natura mutevole dei contemporanei ecosistemi economici digitali, in cui entità centralizzate e piattaforme devono imparare come influenzare agenti strategici nel corso del tempo.