Market making with fads, informed and uniformed traders: new approaches in reinforcement learning and filtering

This thesis studies optimal market making under information asymmetry, latent fad components, and heterogeneous traders within a unified stochastic control framework. We first implement and validate the continuous-time model of Barucci, Mathieu and Sánchez-Betancourt in the mbt-gym simulation environment. Analytical solutions under full and partial information are replicated, and numerical experiments confirm the theoretical ranking of performance across informational regimes, underlining the economic value of information in mitigating adverse selection and inventory risk. Next, we investigate whether Reinforcement Learning can approximate analytically derived optimal strategies. Using actor–critic algorithms, in particular Proximal Policy Optimization (PPO), we show that Reinforcement Learning agents achieve near-optimal performance across informational settings, demonstrating that model-based Reinforcement Learning can serve as a robust and agnostic numerical alternative to Hamilton–Jacobi–Bellman methods. Finally, motivated by the evidence in the literature on the informational content of trading activity, we introduce a filtering framework in which latent market conditions are inferred from observed arrivals using a finite-state continuous-time Markov chain. We analyze the performance of this filtering procedure and highlight the main limitations arising from the high dimensionality of the associated Hamilton–Jacobi–Bellman equation.

Questa tesi studia il problema del market making ottimale in presenza di asimmetria informativa, componenti latenti transitorie e trader eterogenei, all’interno di una formulazione unificata di controllo stocastico. In primo luogo, è stato implementato e validato il modello in tempo continuo di Barucci, Mathieu e Sánchez-Betancourt nell’ambiente di simulazione mbt-gym. Le soluzioni analitiche nei casi di informazione completa e parziale sono state replicate e gli esperimenti numerici confermano l’ordinamento teorico delle performance nei diversi regimi informativi, evidenziando il valore economico dell’informazione nella mitigazione della selezione avversa e nella gestione del rischio di inventario. Successivamente, abbiamo analizzato se le tecniche di Reinforcement Learning siano in grado di approssimare strategie ottimali derivate analiticamente. Utilizzando algoritmi actor–critic, in particolare Proximal Policy Optimization (PPO), mostriamo che gli agenti di Reinforcement Learning raggiungono performance prossime all’ottimo nei diversi regimi informativi considerati, dimostrando che il Reinforcement Learning model-based può costituire una robusta e agnostica alternativa numerica ai metodi classici basati sulle equazioni di Hamilton–Jacobi–Bellman. Infine, motivati dalle evidenze presenti in letteratura sul contenuto informativo dell’attività di trading, introduciamo un framework di filtering in cui le condizioni latenti di mercato vengono estratte dagli ordini in arrivo sul mercato mediante una catena di Markov a tempo continuo a stati finiti (CTMC). Sono state inoltre analizzate le performance di tale procedura di filtering, mostrando le principali limitazioni derivanti dall’elevata dimensionalità dell’equazione di Hamilton–Jacobi–Bellman associata.