Learning to trade bond futures using reinforcement learning and online expert aggregation

Financial markets are characterized by non-stationarity, noisy signals, and complex dynamics, making the design of robust trading strategies a challenging task. Reinforcement learning provides a natural framework for modeling trading as a sequential decision-making problem, allowing strategies to be learned directly from data without relying on explicit price predictions. This thesis investigates the application of offline, value-based reinforcement learning techniques to the problem of trading government bond futures. Trading policies are learned using fitted Q-iteration with tree-based function approximation on historical limit order book data for Italian government bond futures (FBTP). To address variability across independently trained policies, online expert aggregation methods are employed to dynamically select candidate strategies based on their recent performance. An empirical evaluation is conducted considering both an intraday trading setting with medium-frequency decisions and a daily setting with overnight exposure. Results show that online aggregation consistently improves performance relative to static benchmark strategies and offline aggregation alone, particularly in the daily setting, where more stable returns are achieved. In contrast, intraday performance remains limited by a low signal-to-noise ratio, highlighting the intrinsic difficulty of higher-frequency trading in highly efficient bond futures markets. To further analyze performance variability, a diagnostic study evaluates policy behavior conditional on market volatility regimes. Trading gains are found to be concentrated during high-volatility periods, while low-volatility regimes are associated with weaker performance and larger drawdowns. Overall, the results demonstrate that combining offline reinforcement learning with online expert aggregation can enhance robustness in non-stationary financial environments, while also highlighting structural limitations inherent to the market setting.

I mercati finanziari sono caratterizzati da non-stazionarietà, segnali rumorosi e dinamiche complesse, fattori che rendono la progettazione di strategie di trading robuste un compito arduo. Il reinforcement learning offre un framework per modellare il trading come un problema di decisione sequenziale, consentendo di apprendere strategie direttamente dai dati senza fare affidamento su previsioni esplicite dei prezzi. Questa tesi indaga l'applicazione di tecniche di reinforcement learning offline e value-based al problema del trading di futures su titoli di stato. Le politiche di trading vengono apprese tramite fitted Q-iteration con approssimazione funzionale basata su alberi, addestrate su dati storici del Limit Order Book di futures su titoli di stato italiani (FBTP). Per gestire la variabilità tra politiche addestrate indipendentemente vengono impiegati metodi di aggregazione online di esperti per selezionare dinamicamente le strategie in base alle loro performance recenti. Viene condotta una valutazione empirica in due contesti: un contesto intraday con decisioni a frequenza media e un contesto giornaliero con esposizione overnight. I risultati mostrano che l'aggregazione online migliora costantemente le performance rispetto alle strategie benchmark statiche e all'aggregazione offline, in particolare nel contesto giornaliero, dove si ottengono rendimenti più stabili. Al contrario, le performance intraday rimangono limitate da un basso rapporto segnale-rumore, evidenziando la difficoltà intrinseca del trading a media frequenza in mercati di futures obbligazionari altamente efficienti. Per analizzare ulteriormente la variabilità delle performance, uno studio diagnostico valuta il comportamento delle politiche in funzione dei regimi di volatilità di mercato. I guadagni risultano concentrati nei periodi ad alta volatilità, mentre i regimi a bassa volatilità sono associati a performance più deboli e drawdown maggiori. Complessivamente, i risultati dimostrano che combinare offline reinforcement learning con aggregazione online di esperti può migliorare la robustezza in ambienti finanziari non-stazionari, evidenziando al contempo le limitazioni strutturali intrinseche al contesto di mercato analizzato.