Item rating or feature rating ? Which is the key for building a user profile ?

In order to improve the accuracy of recommendations, many recommender systems (RSs) nowadays use side information beyond the user rating matrix, such as item content. These systems build user profiles as estimates of users’ interest on content (e.g., movie genre, director or cast) and then evaluate the performance of the recommender system as a whole e.g., by their ability to recommend relevant and novel items to the target user. The user profile modelling stage, which is a key stage in hybrid content-driven RSs, is barely properly evaluated. One of the main reason for this is the lack of publicly available datasets that contain user preferences on content features of items. With respect to the state of the art, our work advances user profile modelling for RS in several dimensions: (i) first, we investigate differences between explicit user preferences and implicit user profiles built via a suite of user profiling models consisting of 4 models, while previous work by Nasery et al. [34] only applied a basic method (comparing the number of times each feature is explicitly rated and the number of times it appears in the content of all rated movies); (ii) second, we evaluate the quality of user profiling models by integrating them into a recommender system, similar to the previous work of Nasery et al. [33]; (iii) lastly, we publicly release the collected dataset which includes ratings on movie content features. Our results show a maximum average pairwise cosine similarity of 58.07% between the explicit feature preferences and the implicit user profiles modelled by the best investigated profiling method and considering movies’ genres only. For actors and directors, this maximum similarity is only 9.13% and 17.24%, respectively. This low similarity between explicit and implicit preference models encourages a more in-depth study to investigate and improve this important user profile modelling step, which will eventually translate into better recommendations. To further investigate this study in a real recommendation setting, we tested the integration and evaluation of user profiles by using 3 recommendation models, namely: (i) item-based collaborative filtering, considering only movie ratings, (ii) explicit user-user hybrid RS, embedding explicit feature ratings, and (iii) implicit user-user hybrid RS, embedding implicit user profiles built with the best-investigated method. The two hybrid RS integrating feature ratings present higher accuracy scores than the CF model, which consider only items ratings. Furthermore, the explicit hybrid RS performed better than the implicit one, hence more efforts should be done to improve user profiling methods in order to reach the final RS accuracy provided by the integration of true feature ratings.

Al fine di aumentare il livello di accuratezza delle raccomandazioni, molti sistemi di raccomandazioni (RSs) oggigiorno sfruttano alcune informazioni secondarie oltre alla matrice di valutazioni degli utenti, come ad esempio il contenuto degli oggetti. Questi sistemi modellano i profili utente come stima degli interessi degli utenti riguardo il contenuto degli oggetti (ad esempio, i generi cinematografici, i registi o il cast) e successivamente valutano le prestazioni del sistema di raccomandazione nel suo insieme, ad esempio dall’abilità di suggerire oggetti rilevanti e nuovi per l’utente desiderato. La fase di modellazione del profilo utente, che rappresenta un elemento chiave nei RSs ibridi basati sui contenuti, viene valutata raramente. Uno dei motivi principali è la mancanza di un set di dati disponibili al pubblico che contengano le preferenze degli utenti sulle features (ovvero attributi/caratteristiche) degli oggetti. Rispetto allo stato dell’arte, il nostro lavoro prosegue la modellazione del profilo utente per i RS in diversi modi: (i) prima, indaghiamo le differenze tra le preferenze esplicite degli utenti e i loro profili impliciti creati tramite un insieme di modelli di profilazione utente, composta da 4 metodi, mentre nel precedente lavoro di Nasery et al. [34] è stato applicato solo un metodo di base (confrontando il numero di volte in cui ciascuna feature viene votata esplicitamente e il numero di volte in cui appare nel contenuto di tutti i film votati); (ii) in secondo luogo, valutiamo la qualità dei modelli di profilazione degli utenti integrandoli in un sistema di raccomandazione, similmente al precedente lavoro di Nasery et al. [33]; (iii) infine, distribuiamo pubblicamente il set di dati raccolto che include le valutazioni sulle feature dei contenuti dei film. I nostri risultati mostrano una media di cosine similarity a coppie del 58,07% tra le preferenze esplicite riguardo le feature e i profili utente impliciti modellati dal miglior metodo di profilazione analizzato, considerando solo i generi come feature dei film. Considerando attori e registi, questa similarità massima è solo del 9,13% e del 17,24%, rispettivamente. Questa bassa somiglianza tra i modelli espliciti e quelli impliciti incoraggia uno studio più approfondito per indagare e migliorare questa importante fase di modellazione del profilo utente, che eventualmente si tradurrà in raccomandazioni migliori. Per approfondire ulteriormente questo studio in una situazione reale di raccomandazioni, abbiamo collaudato l’integrazione e la valutazione dei profili utente tramite 3 modelli di racommandazione, i seguenti: (i) item-based collaborative filtering, che considera solo le valutazioni dei film, (ii) user-user hybrid RS esplicito, che incorpora le valutazioni riguardo le feature, e (iii) user-user hybrid RS implicito, che incorpora i profili utente impliciti modellati tramite il miglior metodo preso in esame. I due RS ibridi, che integrano le valutazioni delle feature, presentano punteggi di accuratezza più elevati rispetto al modello di CF, il quale considera solamente le valutazioni dei film. Inoltre, il RS ibrido esplicito ha performato meglio di quello implicito, dunque maggior impegno dovrebbe essere applicato per migliorare i metodi di profilazione utente al fine di raggiungere l’accuratezza finale fornita dal RS che integra le valutazioni reali delle feature.