An evaluation study of reproducibility and competitiveness of deep learning algorithms in recommender systems

Recommender Systems are a subclass of information filtering systems that try to predict the preferences or ratings that a user would give to a set of items by exploiting available information. They are applicable in a variety of domains: from movies or songs recommendation to shopping recommendation. With the exponential growth of e-commerce and social media platforms, recommendation algorithms have become indispensable tools for many businesses. Depending on the available data, there is a rich collection of different techniques that can be employed to perform recommendations. In many cases, these recommendations are generated using collaborative filtering techniques. Such techniques leverage the preference or activity profiles of a large user community to predict which are the most relevant items for the individual customer. Recently, Deep Learning techniques have been adapted also to the Recommender Systems field in order to improve the quality of recommendations over more classical approaches. Deep learning is a machine learning area based on neural networks that allows to automatically build a high level abstraction of the problem from raw data (without the need of hand-crafted features by experts, which will be mainly used in the inference process). In the past few years, in particular, approaches based on deep learning techniques have become dominant in recommender system literature. For all of them, substantial progress over the state-of-the-art is claimed. However, there are a number of indications that certain problems exist in today’s research practice with respect to the choice and optimization of the baselines used for comparison, which raise questions about the published claims. Given these observations regarding potential methodological issues, this thesis aims to reproduce recent results in the area of neural recommendation approaches based on collaborative filtering and better understand what degree of progress these recent deep learning methods actually achieve in the context of top-n recommendation task, which is to rank the available items according to their assumed relevance for the user. The outcome of the analysis is that no one of the reproducible neural approaches was actually consistently better than other already existing well-established techniques. We identified different methodological issues, but we also found that the choice of the baselines and often the lack of a proper optimization of these baselines represent key issues in the highlighted results.

I sistemi di raccomandazione sono una particolare categoria di sistemi per il filtraggio dei contenuti che mirano a predire le preferenze o le valutazioni che un utente assegnerebbe a un insieme di oggetti. Sono applicabili ad una vasta gamma di scenari, a partire dal suggerimento di film e canzoni da fruire, fino al consiglio di oggetti da acquistare. Con la crescita esponenziale delle piattaforme di e-commerce e dei social network, gli algoritmi di raccomandazione sono divenuti uno strumento indispensabile in molte attività. In base al tipo di dati a disposizione esistono una vasta gamma di tecniche che possono essere sfruttate per fornire le raccomandazioni. In molti casi, queste raccomandazioni sono generate usando tecniche di tipo collaborative filtering. Queste tecniche sfruttano le preferenze o le attività di un ampio bacino di utenti per predire gli oggetti più rilevanti per un dato utente. Di recente, le tecniche di Deep Learning (apprendimento profondo) sono state adottate nel campo dei sistemi di raccomandazione allo scopo di migliorare la qualità delle raccomandazioni rispetto a quella ottenuta da approcci più classici e consolidati. Il deep learning è un ramo del Machine Learning basato sulle reti neurali. Le tecniche di deep learning consentono di costruire automaticamente un’astrazione ad alto livello del problema, partendo dai dati non ancora elaborati (senza la necessità di estrarre manualmente features da parte di esperti del settore, le quali saranno poi utilizzate nel processo di predizione). Negli ultimi anni gli approcci basati sul deep learning sono diventati dominanti nel panorama dei sistemi di raccomandazione. Per tutti loro è stato affermato un sostanziale progresso rispetto allo stato dell'arte. Tuttavia ci sono un certo numero di indicazioni rispetto ad alcuni problemi presenti nelle ricerche attuali, con particolare riguardo alla scelta e all'ottimizzazione delle baseline usate negli esperimenti per valutare la qualità dei modelli proposti, facendo sorgere in questo modo domande e dubbi riguardo alle affermazioni pubblicate. Sulla base di queste osservazioni riguardo potenziali problemi metodologici, lo scopo di questa tesi è quello di riprodurre i risultati di recenti sistemi di raccomandazione neurali di tipo collaborative filtering, e comprendere in modo migliore il grado di progresso raggiunto da questi metodi basati sul deep learning nel contesto di raccomandazione top-n, ovvero il compito di ordinare gli oggetti raccomandati in base alla presunta rilevanza per l'utente. Il risultato di questa analisi è che nessuno degli approcci riproducibili è realmente competitivo rispetto ad altre tecniche ben conosciute e consolidate nel settore. Diversi problemi di metodologia sono stati individuati. Tra questi la scelta delle baseline e spesso la loro scarsa ottimizzazione sono la chiave fondamentale per la comprensione dei risultati ottenuti.