Enhancing Review-based Recommender Systems with Attention-driven Models Leveraging Large Language Model's Embeddings

This thesis aims to address a current gap in the field of recommender systems. While numerous techniques leverage user reviews as additional information to enhance recommendations, they often yield unsatisfactory results, leading to a decline in research interest in this direction. Conversely, there is a growing interest in utilizing Large Language Models (LLMs), a family of models born after 2017 and based on the Transformer architecture, demonstrating remarkable results across a variety of tasks. Although there are existing methods applying LLMs to recommender systems, literature currently lacks any technique focused on using an LLM to process user reviews for enriching recommendations. The underlying hypothesis of this work is that LLMs exhibit exceptional abilities in understanding human language and should, therefore, efficiently process user reviews, since written in natural language. To validate this hypothesis, seven new models are introduced in this thesis, ranging in complexity from simple content-based methods to neural models employing attention mechanisms with different settings. All models outperform the existing state-of-the-art models that leverage reviews for recommender systems. Notably, the final model, a straightforward hybrid ItemKNN incorporating both content-based and collaborative filtering, even outperforms effective collaborative filtering baselines like RP3Beta. These results confirm the validity of the hypothesis, paving the way for potential future developments in this direction.

Questa tesi ha lo scopo di riempire un'attuale lacuna nel mondo dei recommender systems. Esistono infatti numerose tecniche che sfruttano le recensioni lasciate da utenti a prodotti come informazione aggiuntiva per arricchire le raccomandazioni. Tuttavia questi metodi ottengono risultati spesso insoddisfacenti, portando a un declino dell'interesse per la ricerca in questa direzione. Al contrario, è sempre maggiore l'interesse verso l'utilizzo dei Large Language Models (LLMs), una famiglia di modelli nati dopo il 2017 e basati sull'architettura del Transformer, che stanno mostrando risultati incredibili in una grande varietà di task. Sebbene esistano metodi che applicano LLM ai recommender systems, al momento non esiste in letteratura nessuna tecnica basata sull'utilizzo di un LLM per processare le recensioni degli utenti e sfruttarle per arricchire le raccomandazioni. L'ipotesi alla base di questo lavoro è che i LLM dimostrano abilità eccezionali nel comprendere il linguaggio umano, e di conseguenza dovrebbero essere in grado di processare in modo molto efficace le recensioni degli utenti, in quanto composte da linguaggio umano. Per validare questa ipotesi, 7 nuovi modelli sono presentati in questa tesi, con un grado di complessità che va da semplici metodi content-based a modelli neurali che utilizzano meccanismi di attention con diverse configurazioni. Tutti i modelli ottengono risultati nettamente migliori rispetto ai modelli costituenti l'attuale stato dell'arte nell'utilizzo di recensioni in recommender systems. In particolare, l'ultimo modello (un semplice ItemKNN ibrido che utilizza sia content-based filtering che collaborative filtering) riesce persino a superare efficaci baseline di collaborative filtering come RP3Beta. Questi risultati confermano la veridicità dell'ipotesi, aprendo la strada a possibili futuri sviluppi in questa direzione.