An assessment of reproducibility and methodological issues in neural recommender systems research

The design of algorithms that generate personalized ranked item lists is a central topic of research in the field of recommender systems. In recent years, in particular, the interest of the research community has moved towards neural approaches based on deep learning, which have become dominant in the literature. Since each of those publications claims substantial progress over the state-of-the-art, it seems logical to expect the research field to be on a steady trajectory of increased effectiveness. However, several studies indicated the existence of certain problems in today's research practice, e.g., with respect to the choice and optimization of the baselines used for comparison or to the design of the experimental protocol itself, raising questions about the published claims. In order to assess the level of progress, reproducibility and the existence of issues in the current recommender systems research practice, this thesis attempts to reproduce recent results in the area of neural recommendation approaches based on collaborative filtering. The analysis in particular focuses on articles published at high level scientific conferences between 2015 and 2018. The results is that out of 24 articles, only 12 can be reproduced and only 1 shows to be consistently competitive against simple methods, e.g., based on the nearest-neighbor heuristics or linear machine learning. In our analysis, we discuss this surprising result and trace it back to several common issues in today's research practice, which, despite the many papers that are published on the topic, have apparently led the recommender system field, for the task considered in our analysis, to a certain level of stagnation.

Lo sviluppo di algoritmi per fornire liste di risultati personalizzati è una tematica di ricerca cruciale nel settore dei sistemi di raccomandazione. Negli ultimi anni, in particolare, l'interesse dei ricercatori si è spostato verso tecniche neurali basate sul deep learning, diventate uno tra gli strumenti più utilizzati. Ognuna di queste pubblicazioni afferma di ottenere significativi miglioramenti rispetto allo stato dell'arte, pare logico quindi attendesi che il settore sia su uno stabile percorso di miglioramento continuo. Tuttavia, diversi studi indicano l'esistenza di alcuni problemi nelle pratiche sperimentali attualmente adottate, per esempio rispetto alla selezione e ottimizzazione degli altri algoritmi usati per la comparazione o nella progettazione del protocollo sperimentale, mettendo in dubbio l'affidabilità dei risultati pubblicati. In modo da poter valutare il livello di progresso, riproducibilità e l'esistenza di tali problematiche nelle pubblicazioni del settore dei sistemi di raccomandazione, in questa tesi cercheremo di riprodurre recenti risultati di algoritmi neurali nel settore del filtraggio collaborativo. L'analisi, in particolare, si concentra su articoli pubblicati in conferenze di alto livello tra il 2015 e il 2018. Il risultato indica che di 24 articoli, solo 12 possono essere riprodotti e solo 1 si mostra competitivo in modo consistente rispetto ad altri semplici metodi, per esempio basati su euristiche quali k-nearest-neighbor o machine learning lineare. Nell'analisi discutiamo questo risultato sorprendente e lo attribuiamo a diversi problemi presenti comunemente nell'attuale pratica sperimentale, i quali, nonostante i numerosi articoli pubblicati, hanno portato il settore dei sistemi di raccomandazione, per quanto considerato in questa tesi, ad un certo livello di stagnazione.