Leveraging LLM embeddings to enhance review-based and traditional recommender systems

This thesis examines the integration of Large Language Models (LLMs) into Recommender Systems (RSs), focusing on leveraging LLM-generated embeddings from user reviews to enhance recommendation quality. Traditional RSs often struggle to extract actionable insights from the unstructured text of user reviews, a gap that LLMs — with their advanced natural language processing (NLP) capabilities — promise to bridge. However, the substantial computational resources required for training and deploying LLMs pose significant challenges. This study tests three hypotheses: first, that LLM embeddings will outperform traditional word-level embeddings in improving RS performance due to their superior semantic understanding; second, that integrating these embeddings into collaborative filtering (CF) models will enrich the models with valuable contextual insights; and third, that LLMs with higher effectiveness in NLP tasks will not necessarily produce better recommendations, depending on the RS model used. To address these hypotheses, this research leverages two Amazon Review Datasets — Digital Music and Fine Foods — and employs embeddings from three distinct LLMs: OpenAI, Wang’s Mistral, and VoyageAI. The analysis aims to determine if LLM embeddings can be a useful source of information to enhance traditional recommendation algorithms. The results of the study are as follows: (i) LLM embeddings can be effectively used in review-based models developed for word-level embeddings, (ii) the usefulness of LLM embeddings as side information in simple recommendation models is effective but limited, and (iii) LLMs with higher effectiveness in NLP tasks do not necessarily produce better recommendations, as their impact varies depending on the RS model used.

Questa tesi esamina l'integrazione di Large Language Models (LLMs) nei Sistemi di Raccomandazione (RSs), concentrandosi sull'utilizzo degli embeddings generati da LLMs dalle recensioni degli utenti per migliorare la qualità delle raccomandazioni. I RSs tradizionali spesso faticano a estrarre informazioni utili dal testo non strutturato delle recensioni degli utenti, una lacuna che gli LLMs — con le loro avanzate capacità di natural language processing (NLP) — promettono di colmare. Tuttavia, le risorse computazionali significative richieste per l'addestramento e il deployment degli LLMs pongono sfide notevoli. Questo studio testa tre ipotesi: la prima è che gli LLM embeddings supereranno i word-level embeddings tradizionali nel migliorare le prestazioni dei RSs grazie alla loro superiore comprensione semantica; la seconda è che l'integrazione di questi embeddings nei modelli di collaborative filtering (CF) arricchirà i modelli con preziosi insight contestuali; la terza è che gli LLMs con una maggiore efficacia nei compiti di NLP non produrranno necessariamente migliori raccomandazioni, a seconda del modello di RS utilizzato. Per affrontare queste ipotesi, questa ricerca utilizza due Amazon Review Datasets — Digital Music e Fine Foods — e impiega embeddings da tre distinti LLMs: OpenAI, Wang’s Mistral e VoyageAI. L'analisi mira a determinare se gli LLM embeddings possano essere una fonte utile di informazioni per migliorare gli algoritmi di raccomandazione tradizionali. I risultati dello studio sono i seguenti: (i) gli LLM embeddings possono essere utilizzati efficacemente in modelli basati su recensioni sviluppati per word-level embeddings, (ii) l'utilità degli LLM embeddings come informazioni aggiuntive nei modelli di raccomandazione semplici è efficace ma limitata, e (iii) gli LLMs con maggiore efficacia nei compiti di NLP non producono necessariamente migliori raccomandazioni, poiché il loro impatto varia a seconda del modello di RS utilizzato.