Modeling value detection in dyadic conversations for human-human and human-agent well-being coaching

This thesis addresses the challenge of detecting ethical values in counseling dialogues, a task motivated by the increasing use of conversational agents in sensitive domains such as healthcare and emotional support. Building on the Human–Robot Interaction (HRI) Values framework (Abbo, et al., 2025) —comprising Agency, Autonomy, Connectedness, Dignity, Equity, Privacy, Virtue, and Welfare—the research introduces a unified value- labeled corpus created by integrating three datasets: MentalChat16K (Xu, et al., 2025), ESConv (Liu, et al., 2021), and AugESC (Zheng, et al., 2023). To ensure consistency across sources, a hybrid annotation procedure was employed, combining lexical mapping with ValueEval-based (Mirzakhmedova, et al., 2023) refinement. The resulting dataset contains approximately 1.7 million utterances, making it one of the largest resources available for value-oriented dialogue analysis. Using this corpus, we conducted an extensive modeling benchmark across embeddings and architectures. Results demonstrate that embedding quality is decisive: E5 embeddings significantly outperformed MiniLM (Reimers & Gurevych, 2019) and MPNet (Song, et al., 2020) (p < .05). Model architecture also proved critical: while non-linear classifiers consistently surpassed linear baselines, the best overall performance was obtained with an Ensemble of CatBoost (Prokhorenkova, et al., 2018), XGBoost (Chen & Guestrin, 2016), and MLP (Goodfellow, et al., 2016) (Macro-F1 = 0.655, Micro-F1 = 0.789), significantly outperforming simpler models (p < .01). In addition, the analysis of agent roles revealed that detection performance was comparable on Human and AI turns but significantly worse on Mixed dialogues (p < .05). These findings show that values such as Welfare and Agency are reliably detectable, whereas Privacy, Virtue, and Connectedness remain challenging. The thesis contributes a large-scale unified dataset annotated with ethical values, a comprehensive benchmark of model performance, and a novel agent-kind analysis revealing systematic differences in value expression. Together, these contributions provide a foundation for advancing value- sensitive AI and support the development of conversational systems that are not only effective but also ethically aligned.

Questa tesi affronta la sfida del riconoscimento dei valori etici nei dialoghi di counseling, un compito reso sempre più rilevante dal crescente impiego di agenti conversazionali in domini sensibili come la sanità e il supporto emotivo. Facendo riferimento al quadro dei Valori nell’Interazione Uomo–Robot (HRI) (Abbo, Belpaeme & Spitale, 2025), che comprende Agenzia, Autonomia, Connessione, Dignità, Equità, Privacy, Virtù e Benessere, la ricerca introduce un corpus unificato e annotato con valori, ottenuto integrando tre dataset: MentalChat16K (Xu et al., 2025), ESConv (Liu et al., 2021) e AugESC (Zheng et al., 2023). Per garantire coerenza tra le fonti è stata impiegata una procedura di annotazione ibrida, che combina mappatura lessicale e raffinamento tramite ValueEval (Mirzakhmedova et al., 2023). Il dataset risultante contiene circa 1,7 milioni di enunciati, configurandosi come una delle risorse più ampie disponibili per l’analisi dei dialoghi orientati ai valori. Su questo corpus è stato condotto un ampio benchmark di modelli e rappresentazioni. I risultati mostrano che la qualità delle embedding è decisiva: E5 (Wang, Bao, Dong & Wei, 2023) supera in modo significativo MiniLM (Wang, Reimers & Gurevych, 2020) e MPNet (Song et al., 2020) (p < .05). Anche l’architettura del modello si rivela cruciale: sebbene i classificatori non lineari superino sistematicamente le baseline lineari, le migliori prestazioni complessive sono state ottenute da un Ensemble di CatBoost (Prokhorenkova et al., 2018), XGBoost (Chen & Guestrin, 2016) e MLP (Goodfellow, Bengio & Courville, 2016), con Macro-F1 = 0.655 e Micro-F1 = 0.789, e un vantaggio significativo rispetto ai modelli più semplici (p < .01). Inoltre, l’analisi del ruolo dell’agente evidenzia che le performance sono comparabili per enunciati prodotti da esseri umani e da sistemi di intelligenza artificiale, ma peggiorano in modo significativo nei dialoghi misti (p < .05). Questi risultati indicano che valori come Benessere e Agenzia sono rilevabili con affidabilità, mentre Privacy, Virtù e Connessione restano più complessi da catturare. La tesi contribuisce con la costruzione di un corpus unificato di larga scala annotato con valori etici, un benchmark completo delle prestazioni modellistiche e una nuova analisi basata sul tipo di agente, che rivela differenze sistematiche nell’espressione dei valori. Insieme, questi contributi offrono una base per sviluppare sistemi di IA conversazionale non solo efficaci, ma anche sensibili ai valori ed eticamente allineati.