Empowering emotional well-being through a LLM-based chatbot : a comparative study with the standard journaling technique

This thesis examines the emotional impact of engaging with a chatbot compared to use of the traditional journaling activity as a tool for emotional support and well-being improvement. The empirical study aims to analyze the differences in emotional experiences between the two activities and explore the advantages of this new approach. The research involves a comparative analysis of participants' emotional responses before and after engaging in either a chatbot conversation or journaling. Pre- and post-activity emotional states are measured using the Positive and Negative Affect Schedule (PANAS) questionnaire, allowing for a quantitative evaluation of emotional changes. Additionally, we also considered the predominant emotions encountered in both activities. The findings reveal that chatbot interactions had sadness and fear as most prevalent emotions. In contrast, journaling activities had predominantly fear and happiness emotions, with no instances of sadness reported. The analysis of pre- and post-activity PANAS scores shows that both chatbot conversations and journaling significantly change the negative emotions, while only journaling has a significant effect on positive emotions. However, the chatbot slight outperforms journaling in improving overall mood, suggesting its potential as an effective tool for emotional well-being enhancement. Furthermore, the study examines the usability of an advanced chatbot, based on Large Language Model (LLM), through participant feedback and usability questionnaires. The chatbot receives a moderate usability score, with certain aspects such as the lack of information on the functionalities and the aim of the chatbot and the lack of relevance on some answers, influencing heavily the final result. The analysis also identifies the need to address language barriers and refine the questionnaire translations to ensure accurate users' interpretation. The research concludes that engaging with a chatbot can elicit a variety of emotions throughout the conversation, potentially leading to positive emotional outcomes. While journaling offers a more consistent emotional experience, the advanced capabilities of a chatbot, combined with its ability to provide real-time emotional analysis and support, demonstrate its potential as a valuable alternative tool for emotional well-being. The limitations include the fixed duration of activities, potential self-reporting biases, language limitations on questionnaires, and varying levels of expertise with chatbot technology among participants. Future research is recommended to explore longer durations, diverse participant profiles, enhanced chatbot functionality, comparisons with other interventions, validation of questionnaires in the local language, qualitative analysis, and real-world application. Addressing these areas would further enhance our understanding of chatbot interventions for emotional support and facilitate their integration into existing support systems.

Questa tesi esamina l'impatto emotivo dell'interazione con un chatbot rispetto alla scrittura di un diario tradizionale come strumento di supporto emotivo e miglioramento del benessere. Lo studio mira ad analizzare le differenze nelle esperienze emotive tra le due attività ed esplorare i pro e i contro di ciascun approccio. La ricerca prevede un'analisi comparativa delle risposte emotive dei partecipanti prima e dopo l'interazione con un chatbot o la scrittura di un diario. Gli stati emotivi pre e post attività vengono misurati utilizzando il questionario Positive and Negative Affect Schedule (PANAS), consentendo una valutazione quantitativa dei cambiamenti emotivi. Inoltre, lo studio incorpora un'analisi sentimentale del testo per esplorare le differenze nel tipo di risultato tra le due attività. Questa analisi comprende anche le emozioni predominanti riscontrate in entrambe le attività. I risultati rivelano che le interazioni con il chatbot presentano tristezza e paura come le emozioni più ricorrenti. Al contrario, durante la scrittura di un diario le emozioni più ricorrenti sono state paura e felicità, con la tristezza che non è mai risultata predominante. L'analisi dei punteggi PANAS prima e dopo l'attività mostra che sia le conversazioni con il chatbot sia la scrittura di un diario hanno avuto un cambiamento significativo sulle emozioni negative, mentre solo la scrittura di un diario ha un effetto significativo sulle emozioni positive. Tuttavia, il chatbot si è dimostrato più efficace nel migliorare l'umore complessivo, suggerendo il suo potenziale come strumento efficace per il miglioramento del benessere emotivo. Inoltre, lo studio esamina l'usabilità di un chatbot avanzato, basato su OpenAI, attraverso il feedback dei partecipanti e i questionari di usabilità. Il chatbot ha ottenuto un punteggio di usabilità moderato, con alcuni aspetti come la mancanza di informazioni sulle funzionalità e l'obiettivo del chatbot e la mancanza di pertinenza di alcune risposte che influenzano significativamente il risultato finale. L'analisi individua anche la necessità di migliorare la traduzione dei questionari per garantire un'interpretazione accurata. Lo studio conclude che l'interazione con un chatbot può provocare una variazione nelle emozioni durante la conversazione, potenzialmente portando a risultati emotivi positivi. Le capacità avanzate di un chatbot, unite alla sua capacità di fornire analisi emotive e supporto in tempo reale, ne dimostrano il potenziale come strumento alternativo per il benessere emotivo. Le limitazioni dello studio includono la durata fissa delle attività, possibili errori dovute all'autovalutazione degli utenti, limitazioni linguistiche nei questionari e diversi livelli di familiarità dei partecipanti con la tecnologia dei chatbot. In futuro, si raccomanda di svolgere ulteriori studi per esplorare gli effetti a lungo termine, diversi profili di partecipanti, confronti con altre forme di intervento, validazione dei questionari nella lingua locale, analisi qualitativa e applicazione nel mondo reale. Affrontare questi aspetti contribuirebbe a migliorare la validità nell'utilizzo di chatbot per il supporto emotivo e faciliterebbe la loro integrazione nei sistemi di supporto esistenti.