Diffusion Models for Collaborative Filtering using Self-Attention and Graph-Based Similarity

Recommender systems are algorithms able to provide personalized recommendations for the user, enhancing the user experience they became fundamental in online services. Collaborative filtering techniques leverage past user interactions with items to identify patterns, which are then used to recommend a list of top-k items the user has not interacted with but is likely to enjoy. Recently, two mechanisms have revolutionized deep-learning models: Diffusion models and Self-Attention mechanisms. Diffusion models are generative models that learn to reconstruct input data after corrupting it with noise. Self-Attention combines the long context windows of RNNs with the parallel computing capabilities of CNNs, transforming input sequences by considering the relationships between each element. This research contributes to the early exploration of Diffusion models for collaborative filtering with implicit feedbacks in the top-n recommendation task. It introduces and analyzes several novel models based on Diffusion models using Self-Attention mechanisms to reconstruct user profiles, thereby exploiting the relationships between users. Additional approaches leverage graph representations of user-item interactions to identify connections between users, in an effort to use them to maximize the effectiveness of Self-Attention. An extensive experimental pipeline was designed to evaluate and compare the performance of these novel models using various well-known datasets. The experimental results confirmed the potential of these innovative models in the recommendation task, providing valuable insights for future research directions.

I sistemi di raccomandazione sono fondamentali per qualsiasi servizio online, fornendo suggerimenti personalizzati di elementi dal catalogo di sistema ne migliorano l'esperienza dell'utente. Le tecniche di filtraggio collaborativo sfruttano le interazioni passate degli utenti con gli elementi per identificare pattern, che vengono poi utilizzati per raccomandare una lista di top-k elementi con cui l'utente non ha interagito ma che è probabile che apprezzi. Recentemente, due meccanismi hanno rivoluzionato i modelli di deep-learning: i modelli di diffusione e i meccanismi di Self-Attention. I modelli di diffusione sono modelli generativi che imaparano a ricostruire i dati di input dopo averli corrotti con rumore. La Self-Attention combina le lunghe finestre contestuali degli RNN con le capacità di calcolo parallelo dei CNN, trasformando le sequenze di input tenendo conto delle relazioni tra ciascun elemento. Questo lavoro di tesi contribuisce alle prime esplorazioni dell'utilizzo dei modelli di diffusione per il filtraggio collaborativo, con feedback impliciti, nel task di raccomandazione top-n. Vengono introdotti e analizzati diversi modelli innovativi basati su modelli di diffusione che utilizzano meccanismi di Self-Attention per ricostruire batch di profili utente, sfruttando così le relazioni tra gli utenti stessi. Ulteriori approcci sfruttano la rappresentazione in grafo delle interazioni utente-elemento per identificare connessioni tra gli utenti, nel tentativo di utilizzarle per massimizzare l'efficacia del meccanismo di Self-Attention. È stata progettata una pipeline sperimentale completa per valutare e confrontare le performance di questi nuovi modelli utilizzando vari dataset noti. I risultati sperimentali hanno confermato il potenziale di questi modelli innovativi nel task di raccomandazione, fornendo preziose intuizioni per future direzioni di ricerca.