Denoising diffusion models of matrix-factorization user embeddings for collaborative filtering

Recommender Systems primarily aim to offer suggestions for items most relevant to a specific user. Linear models still dominate the field. However, recent studies show that generative approaches to recommender systems can improve the quality of the recommendations. Diffusion models are powerful generative methods considered the current state of the art in media generation. These models have a forward process where the data is gradually destroyed, adding noise, and a backward process where a neural denoising architecture learns to reconstruct the original input from the partially destroyed data. This thesis explores the innovative application of diffusion models in recommendation systems, a domain where their potential has not been fully realized. Few studies exploring the application of diffusion models to recommender systems focussed on applying the process directly to the User-Ratings Matrix (URM). However, the URM has a very different structure and semantics from the one for which diffusion models were developed. Instead, the novel approach studied in this thesis applies the diffusion processes to the dense user factors produced by traditional matrix factorization models. The recommendations are then constructed using the updated user factors in the corresponding matrix factorization model. The possibility of guiding the diffusion process using the user factors sourced from an alternative matrix factorization model is explored. Comprehensive experiments were conducted with three different well-known datasets and three traditional matrix factorization models to produce the user factors. The results highlight the crucial role of the type of user factors used. The model struggles to adapt to the sharp and concentrated user factors of a PureSVD model. However, it showed more promising results when using the MF-BPR user factors where, although there was a decrease in ranking accuracy metrics, this was counterbalanced by enhancements in beyond accuracy metrics. Notably, there was an increase in Coverage Item Hit. This improvement indicates that when paired with MF-BPR user factors, the diffusion model explores a broader array of items relevant to the users.

I sistemi di raccomandazione mirano principalmente a suggerire gli oggetti più rilevanti per gli uttenti. I modelli lineari dominano ancora il campo. Tuttavia, studi recenti dimostrano che gli approcci generativi possono migliorare la qualità delle raccomandazioni. I modelli di diffusione sono potenti metodi generativi considerati l'attuale stato dell'arte nella generazione di media. Questi modelli prevedono un processo in avanti in cui i dati vengono gradualmente distrutti, aggiungendo rumore, e un processo all'indietro in cui un'architettura neurale impara a ricostruire l'input originale. Questa tesi esplora l'applicazione innovativa dei modelli di diffusione nei sistemi di raccomandazione, un dominio in cui il loro potenziale non è stato pienamente realizzato. I pochi studi in materia si sono concentrati sull'applicazione del processo direttamente alla matrice delle valutazioni degli utenti (URM). Tuttavia, l'URM ha una struttura e una semantica molto diversa da quella per cui sono stati sviluppati i modelli di diffusione. Il nuovo approccio studiato in questa tesi applica invece i processi di diffusione ai fattori utente prodotti da dei modelli di fattorizzazione matriciale. Le raccomandazioni vengono poi costruite utilizzando i fattori utente aggiornati nel corrispondente modello di fattorizzazione matriciale. Inoltre, è stata esplorata la possibilità di guidare il processo di diffusione utilizzando i fattori utente provenienti da un modello alternativo. Sono stati condotti esperimenti completi con tre diversi dataset noti e tre diversi modelli di fattorizzazione matriciale. I risultati evidenziano il ruolo cruciale del tipo di fattori utente utilizzati. Il modello ha difficoltà ad adattarsi ai fattori utente concentrati di un modello PureSVD. Tuttavia, ha mostrato risultati più promettenti quando ha utilizzato i fattori utente di un modello MF-BPR, dove, sebbene vi sia stata una diminuzione delle metriche di accuratezza del ranking, questa è stata controbilanciata da miglioramenti nelle metriche beyond accuracy. In particolare, si è registrato un aumento della Coverage Item Hit. Questo miglioramento indica che, se abbinato ai fattori uttente di MF-BPR, il modello di diffusione esplora una gamma più ampia di elementi rilevanti per gli utenti.