A user study on novelty and diversity in recommender systems

Recommender Systems are software applications that support users in finding items of interest within larger collections of objects. Evaluation of Recommender Systems has traditionally focused on the performance of algorithms and the accuracy of predictions. However, many researchers have recently started investigating other evaluation criteria from users' perspective: such criteria, called beyond-accuracy metrics, may have a significant impact on the overall quality of recommendations. A major problem in beyond-accuracy research is the gap between the computed-offline metrics and the real user's perception. A powerful approach to properly solve this problem is conducting user studies, online experiments used to collect user feedback on perceived qualities of recommendations. In this work, we survey the state of the art of beyond-accuracy metrics and user studies. We design and implement a new webapp to set up user studies of interest. We conduct online experiments on perceived novelty and diversity of recommendations, by testing simple content-based algorithms in the movies domain. We analyse the impact of algorithms on user's perception. Finally, we compare the results of perceived novelty and diversity with some computed-offline metrics, in order to evaluate which one of them best correlates with the real user's perception.

I Sistemi di Raccomandazione sono applicazioni software che supportano gli utenti nella ricerca di articoli di interesse all'interno di raccolte più grandi. La valutazione dei Sistemi di Raccomandazione si è tradizionalmente focalizzata sulle prestazioni degli algoritmi e sull'accuratezza delle previsioni. Tuttavia, molti ricercatori hanno recentemente iniziato ad indagare altri criteri di valutazione dal punto di vista degli utenti: tali criteri, chiamati anche "metriche oltre l'accuratezza", potrebbero avere un impatto significativo sulla qualità complessiva delle raccomandazioni. Uno dei principali problemi nella ricerca delle "metriche oltre l'accuratezza" è il divario tra le metriche calcolate offline e la percezione reale dell'utente. Un potente approccio per risolvere correttamente questo problema è la realizzazione di studi sull'utente, esperimenti online utilizzati per raccogliere il feedback degli utenti sulle percepite qualità delle raccomandazioni. In questo lavoro, esaminiamo lo stato dell'arte delle "metriche oltre l'accuratezza" e degli studi sull'utente. Progettiamo e implementiamo una nuova applicazione web per impostare studi di interesse sull'utente. Conduciamo esperimenti online per misurare novità e diversità percepite delle raccomandazioni, testando semplici algoritmi basati sul contenuto, nel dominio dei film. Analizziamo l'impatto degli algoritmi sulla percezione dell'utente. Infine, confrontiamo i risultati di novità e diversità percepite con alcune metriche calcolate offline, per valutare quale di queste è meglio correlata con la percezione reale dell'utente.