Multi-asset trading with reinforcement learning : an application to magic the gathering online

Magic The Gathering Online is the digital version of the world-famous trading card game Magic The Gathering. This virtual environment counts hundreds of thousands of players and is characterized by an interesting economic ecosystem where digital cards have a value which can be converted in real money. The study of methods to gain profit from investments in this setting is, to the best of our knowledge, unexplored in the scientific literature and presents an interesting challenge. This thesis proposes a methodology and a model in order to apply machine learning based trading strategies in the Magic The Gathering Online ecosystem. The system we propose has been realized starting from two main procedures: a feature extraction method and an investment decision one. We designed our feature set exploiting a combination of our expert knowledge of the domain and consolidated feature extraction techniques, supplying a customized feature combination to each card. After that, we modelled the investment problem as a Markov decision process and with a Reinforcement Learning technique, in the specific Fitted Q-Iteration, we estimated the return offered by each asset. Finally, a meta-policy has been design to govern the general investment strategy, exploiting the insights offered by the Reinforcement Learning models to manage our budget and dynamically optimize the assets in the card portfolio. We run a thorough set of tests on real-world data to evaluate the proposed system, which showed positive results (even 50% of profit in 3 months) compared to a baseline buy-and-hold classical strategy which most of the time does not provide any profit in the analysed environment.

Magic The Gathering Online è la versione digitale del gioco di carte collezionabili Magic, famoso in tutto il mondo. Questo ambiente virtuale conta centinaia di migliaia di giocatori ed è caratterizzato da un interessante ecosistema economico in cui le carte digitali hanno un valore che può essere convertito in denaro reale. Lo studio di metodi per realizzare profitti da investimenti in questo campo è, a nostra conoscenza, inesplorato nella letteratura scientifica, e presenta sfide stimolanti. Questa tesi propone un modello e una metodologia per applicare strategie di trading basate sul machine learning all'ecosistema di Magic The Gathering Online. Il sistema che proponiamo è stato realizzato a partire da due procedure principali: un metodo di estrazione delle features e una strategia di investimento. Abbiamo progettato il nostro set di features sfruttando una combinazione di conoscenza esperta del dominio e tecniche consolidate di feature extraction, fornendo una combinazione di features personalizzata a ciascuna carta. In seguito, abbiamo formulato l'attività di trading come un processo decisionale di Markov e abbiamo stimato il ritorno d'investimento offerto da ciascuna risorsa con tecniche di Reinforcement Learning, in particolare l'algoritmo Fitted Q-Iteration. Infine, abbiamo elaborato una meta-policy che governasse gli investimenti in un portfolio di carte, sfruttando gli spunti offerti dai modelli di Reinforcement Learning per gestire il budget e ottimizzare dinamicamente le opzioni di portfolio. Abbiamo svolto un'accurata serie di test su dati reali per valutare il sistema proposto, che ha mostrato risultati positivi (fino al 50% di profitto su 3 mesi) in comparazione a una classica strategia di riferimento basata sul buy-and-hold che nella maggior parte dei casi non riesce a generare alcun profitto nell'ambiente analizzato.