Algorithms for Sequence-Aware Recommender Systems

Recommender Systems are one of the most successful applications of data mining and machine learning technology in practice and significant technological advances have been made over the last two decades. Academic research in the field in the recent past was strongly fueled by the increasing availability of large datasets containing user-item rating matrices. Many of these works were therefore based on a problem abstraction where only one single user-item interaction is considered in the recommendation process. The recommendation problem is therefore framed as matrix-completion, in which the missing entries in the user-interaction matrix have to be predicted. In many application domains, however, multiple user-item interactions of different types can be recorded over time. Most algorithms that are optimized for this particular problem setting cannot make use of the rich information that is hidden in the sequentially-ordered user interaction logs which are often available in practical applications. In addition, there are application domains, in which the items have to be recommended in a certain order. Such situations are typically not covered as well in research setups that rely on a user-item rating matrix. To address this problem, in the recent years researchers have developed a new breed of algorithms named sequence-aware recommender systems (SARS). Such algorithms can handle the information in user interaction logs by design without resorting on abstractions such as the user-item matrix. This thesis focuses on the study of novel algorithms for sequence-aware recommender systems and their applications. We first provide a characterization of the problem; we highlight the relations and differences with respect to other related recommendation problems, namely recommendation based on matrix-completion, and with respect to context-aware and time-aware recommender systems. We provide an in-depth review of the state of the art, a categorization of the existing approaches and evaluation methodologies. We then focus on the problems of session-based and session-aware recommendation. These problems have gained attention recently, given their proximity with many real-world recommendation scenarios. We first validate the usefulness of personalized sequence-aware recommendations in session-based scenarios through a user study run in the hotel booking domain. We then present novel sequence-aware algorithms for session-based and session-aware recommendation. In such a setting, we are given the sequence of the most recent actions of a user and the problem is to find items that are relevant in the context of the session and, when historical information on the user is available, that also match the user's general interests and taste. In particular, we investigate models based on Recurrent Neural Networks (RNN), the neural network configuration of choice for processing sequentially-ordered data. We show the effectiveness of sequence-aware recommenders based on RNNs in several real-life scenarios, namely session-based recommendation with rich product descriptors, personalized session-based recommendation for returning users, music station recommendation and automated playlist generation. We also investigate the importance of the track order in automated playlist generation, shedding some light on this long debated issue by the Music Information Retrieval community. In our experimental evaluation, we empirically evaluate the proposed models on large datasets from several domains, namely video, classified advertisement, hotel, job and music recommendation. We also present a novel large-scale dataset for music recommendation over user listening sessions. The empirical results show that our sequence-aware models are indeed effective in several session-based recommendation scenarios in terms of recommendation accuracy.

I sistemi di raccomandazione sono sicuramente tra le applicazioni di maggiore successo del data-mining e machine-learning; molte innovazioni tecnologiche significative su questo fronte sono state sviluppate negli ultimi due decenni. La ricerca accademica in questo campo è stata fortemente sospinta dalla disponibilità di grandi dataset composti da matrici user-item. La vasta maggioranza di questi lavori si è quindi focalizzata su di un'astrazione del problema basata su singole interazioni user-item. Il problema della raccomandazione si presenta quindi come completamento di matrici fortemente sparse, in cui le interazioni user-item mancanti devono essere predette. Ciò nonostante, in molti domini si registrano multiple interazioni di tipo diverso tra user e items nel corso del tempo. La maggior parte degli algoritmi ottimizzati per questa formulazione del problema non sono in grado di utilizzare l'informazione contenuta nelle sequenze ordinate di interazioni che sono frequentemente registrate nei log di molte applicazioni reali. Esistono inoltre domini nei quali i prodotti devono essere raccomandati in un certo ordine. Anche queste situazioni non sono gestite dagli algoritmi basati sulle sole matrici user-item. Per rispondere a queste esigenze, è stata recentemente introdotta una nuova classe di algoritmi detti sequence-aware recommender systems (SARS). Questi algoritmi possono gestire l'informazione contenuta nei log di interazioni degli utenti senza dover ricorrere ad ulteriori astrazioni come quella della matrice user-item. Questa tesi si focalizza sullo studio e definizione di nuovi algoritmi di raccomandazione sequence-aware e sulle rispettive applicazioni. Viene inizialmente presentata una caratterizzazione dettagliata del problema, delle sue relazioni e differenze rispetto ad altri problemi di raccomandazione correlati (nello specifico, la raccomandazione basata sulla matrice user-item, i sistemi di raccomandazione context-aware e time-aware). Viene infine fornita un'analisi dello stato dell'arte, degli algoritmi esistenti e delle procedure di valutazione. La seconda parte si focalizza su due problemi specifici, quelli di raccomandazione session-based e session-aware. Questi problemi hanno ricevuto particolare attenzione da parte della comunità solo di recente data la loro rilevanza in molti scenari pratici. Viene inizialmente presentato uno user-study atto a validare l'utilità di algoritmi sequence-aware personalizzati nel contesto delle prenotazioni di hotel. Dopodiché vengono presentati due nuovi algoritmi per la raccomandazione session-based e session-aware. In questi scenari è disponibile la sequenza di azioni più recenti dell'utente (quelli relativi alla sessione corrente); l'obiettivo è quello di determinare gli item rilevanti per l'utente nella sessione corrente, considerando anche gli interessi storici dello stesso quando questi sono disponibili. A tale scopo abbiamo studiato modelli basati su Recurrent Neural Networks (RNN), modelli neurali studiati espressamente per processare sequenze di informazioni. I nostri esperimenti mostrano che nuovi sistemi di raccomandazione sequence-aware basati su RNN sono efficaci in numerosi scenari applicativi reali, quali la generazione di raccomandazioni session-based basate su descrittori dei prodotti, la personalizzazione delle raccomandazioni session-based per utenti che riutilizzano il servizio, la raccomandazione di stazioni musicali e la generazione automatica di playlist. Questi modelli ci hanno permesso di studiare anche l'importanza dell'ordine delle canzoni in una playlist, un problema ancora largamente irrisolto per la comunità del Music Information Retrieval. Gli approcci presentati in questa tesi sono stati validati utilizzando diversi grandi dataset di domini differenti, quali video, annunci pubblicitari e lavorativi, hotel e musica. Viene inoltre presentato un nuovo dataset per la raccomandazione musicale all'interno delle sessioni di ascolto degli utenti. I risultati sperimentali mostrano la validità dei modelli sequence-aware presentati in questa tesi.