Leveraging LLM-generated keyphrases and clustering techniques for topic identification in product reviews

This thesis explores the use of Large Language Models (LLMs) for enhancing topic identification and keyphrase generation in product reviews, with a focus on IKEA's customer review platform. The research addresses two main questions: (1) how to use LLMs to identify topics from product reviews, and (2) how to leverage open-source LLMs for automated keyphrase generation and sentiment analysis with limited annotated data. To address these questions, the methodology involves creating custom datasets for fine-tuning and evaluation, developing novel metrics, and experimenting with various LLM configurations. For topic identification, different input configurations for LLMs are explored, with performance assessed on topic correctness and diversity. For keyphrase generation and sentiment analysis, open-source LLMs (namely Mistral-7B, Llama3-8B and Gemma-7B) are evaluated against baselines using a semantic similarity-based metric. Furthermore, the study contributes novel evaluation methods for topic correctness and diversity based on embeddings and semantic similarity. It also provides insights into the effectiveness of different LLM configurations and input strategies for these tasks. Results indicate that LLMs outperform traditional methods in both tasks. In topic identification, combining reviews and keyphrases as input yielded the best results for topic correctness, with a post-processing step, called Iterative Topic Refinement, further improving performance. For keyphrase generation, Mistral-7B with 5-shot learning achieved the highest similarity scores, while Llama3-8B excelled in sentiment analysis.

Questa tesi esplora l'uso di modelli linguistici di grandi dimensioni (LLM) per migliorare l'identificazione degli argomenti e la generazione di frasi chiave nelle recensioni dei prodotti, con particolare attenzione alla piattaforma di recensioni dei clienti IKEA. La ricerca si concentra su due domande principali: (1) come utilizzare gli LLM per identificare gli argomenti all'interno delle recensioni dei prodotti e (2) come sfruttare gli LLM open source per la generazione automatizzata di frasi chiave e l'analisi del sentimento con dati annotati limitati La metodologia comprende la creazione di set di dati personalizzati per il fine-tuning e la valutazione, lo sviluppo di nuove metriche e la sperimentazione di diverse configurazioni di LLM. Per l'identificazione degli argomenti, vengono testate varie configurazioni di input per gli LLM, con prestazioni valutate in base alla correttezza e alla varietà degli argomenti individuati. Per la generazione di frasi chiave e l'analisi del sentimento, i modelli open source (Mistral-7B, Llama-3-8B e Gemma7B) sono stati confrontati con i metodi tradizionali utilizzando una metrica basata sulla somiglianza semantica. I risultati dimostrano che gli LLM superano i metodi tradizionali in entrambe le aree di ricerca. Nell'identificazione degli argomenti, la combinazione di recensioni e frasi chiave come input ha prodotto i risultati migliori in termini di accuratezza, con la post-elaborazione che ha ulteriormente migliorato le prestazioni. Per la generazione di frasi chiave, Mistral-7B con apprendimento 5-shot ha ottenuto i punteggi di somiglianza più alti, mentre Llama-3 ha raggiunto i migliori risultati nell'analisi del sentimento. Infine, la tesi introduce nuovi metodi per valutare l'accuratezza degli argomenti identificati nel contesto delle recensioni dei prodotti e offre approfondimenti sull'efficacia delle diverse configurazioni LLM e delle strategie di input per affrontare queste domande di ricerca.