Eigenvalues as confidence estimators in item based recommender systems

Recommender Systems are software tools and techniques providing suggestions for items to be of use to a user. The suggestions provided aim to supporting their users in various decision-making processes, such as what items to buy, what music to listen, what video to watch next or what kind of news to read. In recent years they have become widespread due to their great impact in e-commerce and multimedia purposes. Recommender Systems rely on two types of information, user interactions with items, which are called collaborative information, and the content information, that are the information about item and users. While item based RS have been widely researched, there is still no clear way to estimate the reliability of a model for a given user, this thesis work focuses on the study of an ideal recommender of this family, studying the conditions on which they may succeed or fail. From this model we define a confidence estimator, the eigenvalue confidence index, which characterizes the reliability of the algorithm to properly model an user. We show the correlation between the learned value and the most used ranking accuracy metrics in eight datasets, showing that the eigenvalue confidence index is correlated to them even when collaborative information is lacking. We also examine the relationship between the quality of the learning process in relation to the characteristics of the domains of application, in particular the very big relation between the popularity bias and the quality of collaborative filtering approaches. After showing a use case we compare the proposed confidence index against the current state of the art in relation to accuracy metrics, demonstrating its effectiveness.

I Sistemi di Raccomandazione sono un insieme di strumenti e tecniche atti a raccomandare oggetti agli utenti. Le raccomandazioni fornite mirano ad aiutare gli utenti in molteplici processi decisionali come quali oggetti comprare, quale canzone ascoltare, quale video guardare o persino quale tipo di notizia leggere. Grazie al loro ingente potenziale nell'ambito dell'e-commerce e del multimediale, negli ultimi anni hanno guadagnato sempre di più l'attenzione da parte delle aziende e dal mondo della ricerca. Essi dipendono da due fondamentali tipi di informazione, le interazioni tra utente ed oggetto, chiamate informazione collaborativa e le nozioni riguardanti oggetti ed utenti, chiamate informazione sul contenuto. Gli algoritmi di filtraggio collaborativo sono una famiglia di tecniche che si basa sulla prima tipologia appena nominata; in questa tesi ci concentriamo sullo studio di un Sistema di Raccomandazione Ideale di questa categoria analizzando le condizioni per le quali essi possano fallire o avere successo. Da questo modello definiamo l' Autovalore di Confidenza, un indice che precisa l'affidabilità con la quale un generico algoritmo di filtraggio collaborativo possa raccomandare correttamente per un determinato utente. Mostriamo la correlazione tra l'autovalore appreso e la bontà delle raccomandazioni su diversi dataset tramite le tecniche di valutazione più utilizzate nel campo, osservando che vi è correlazione anche in condizioni di scarsa infomazione collaborativa. Esaminiamo la qualità del processo di apprendimento in relazione alle caratteristiche dei domini di applicazione, in particolare notiamo la ampia correlazione tra lo sbilanciamento di popolarità degli oggetti e la qualità degli algoritmi di filtraggio collaborativo. Analizziamo infine un caso d'uso ed un confronto di correlazioni tra la lunghezza profilo e l'Autovalore di Confidenza con le metriche di valutazione, evidenziando che è un miglior stimatore per tutti i casi in cui vi è sufficiente informazione collaborativa per il suo apprendimento.