Designing user emotional experience with voice conversational agents

Nowadays we are witnessing an evolving landscape of human-scale technologies and debate about their emotional and psychological impacts in our culture. Focused on creating technologies that are familiar, natural, and human, innovative companies leverage generative artificial intelligence to support the creation of hardwired human interaction (Chaudhri, 2023; John Meada 2023), such as in voice interfaces. Indeed, this thesis investigates the emotional involvement of users during interactions with voice conversational agents (CA), like Alexa, capable of understanding and mimicking human natural language. While current technology prioritises functionality, users predominantly recall and appreciate the emotional value attributed to interactions, how something makes us feel (Csikszentmihalyi, 2013). Emotions play a crucial role in users' technological journeys, influencing decision-making, memory, and perceived value (Desmet & Roese, 2015). Unlike humans, the malleability of voice interfaces allows designers to strategically select cues, CA’s design feature, to evoke specific user’s behaviour (Feine et. al.,2019). Despite the functional capabilities of conversational agents, there is widespread customer reluctance to engage with them, revealing gaps in research, such as the absence of common guidelines for designing voice interfaces based on user experiences (Cambre & Kulkarni, 2019). The thesis meticulously analyses the current state of voice interfaces, user emotional engagement, and the designable characteristics of voice agents to elicit specific emotions. The research employs deep literature exploration through various scholarly databases to comprehend the background, evolution, and cultural impact of voice user interfaces. Norman's three levels (2004) of product pleasure in voice-agent interfaces are evaluated through desk research and practical tests. The thesis evaluates the Norman framework and extracts taxonomy and design principles from the literature to design voice agent interactions. Ultimately, the thesis concludes that Norman's levels are not fully addressed, highlighting the inability to relate a single cue to a specific user reaction. Instead, it underscores how a combination of some cues evokes emotions within a specific context. The conclusion suggests future research directions, acknowledging the nuanced interplay of cues and emotions in shaping human-agent interactions.

Oggi stiamo assistendo a un panorama in evoluzione delle tecnologie a "scala umana" e al dibattito sui loro impatti emotivi e psicologici nella nostra cultura. Concentrandosi sulla creazione di tecnologie che siano familiari, naturali e umane, le aziende innovative sfruttano l'intelligenza artificiale generativa per supportare la creazione di interazioni intrinsicamente umane (Chaudhri, 2023; John Meada 2023), come ad esempio nelle interfacce vocali. Infatti, questa tesi indaga il coinvolgimento emotivo degli utenti durante le interazioni con agenti conversazionali (CA) vocali, come Alexa, capaci di comprendere e imitare il linguaggio naturale umano. Mentre la tecnologia attuale dà priorità alla funzionalità, gli utenti ricordano e apprezzano principalmente il valore emotivo attribuito alle interazioni, ovvero come qualcosa ci fa sentire (Csikszentmihalyi, 2013). Le emozioni svolgono un ruolo cruciale nei percorsi tecnologici degli utenti, influenzando la presa di decisioni, la memoria e il valore percepito (Desmet & Roese, 2015). A differenza degli esseri umani, la malleabilità delle interfacce vocali consente ai designer di selezionare strategicamente segnali, caratteristiche progettuali delle CA, per suscitare comportamenti specifici degli utenti (Feine et al., 2019). Nonostante le capacità funzionali degli agenti conversazionali, c'è una diffusa riluttanza da parte dei clienti ad interagire con essi, evidenziando lacune nella ricerca, come l'assenza di linee guida comuni per la progettazione di interfacce vocali basate sull'esperienza degli utenti (Cambre & Kulkarni, 2019). La tesi analizza attentamente lo stato attuale delle interfacce vocali, il coinvolgimento emotivo degli utenti e le caratteristiche progettuali degli agenti vocali per suscitare emozioni specifiche. La ricerca utilizza una profonda esplorazione della letteratura attraverso vari database accademici per comprendere la storia, l'evoluzione e l'impatto culturale delle interfacce vocali. I tre livelli di piacere di Norman (2004) nelle interfacce vocali sono valutati attraverso ricerche bibliografiche e test pratici. La tesi valuta il quadro di Norman ed estrae tassonomie e principi di progettazione dalla letteratura per la progettazione delle interazioni degli agenti vocali. In definitiva, la tesi conclude che i livelli di Norman non sono completamente affrontati, evidenziando l'incapacità di collegare un singolo segnale a una reazione specifica dell'utente. Piuttosto, sottolinea come una combinazione di segnali susciti emozioni in un contesto specifico. La conclusione suggerisce direzioni future di ricerca, riconoscendo l'interazione sfumata tra segnali ed emozioni nella modellazione delle interazioni tra umani e agenti.