Designing trustworthy agents. Guidelines for designers

Despite the escalating growth of usage of Artificial Intelligence systems (AI) and Artificial Intelligence Agents, it has been found that people still struggle to trust AI. There are many explanations to this phenomenon. In general people still prefer human touch (especially in consumer service), they are not comfortable interacting with AI, they are concerned about data usage and privacy. Last, they believe the system does not have any morality/ethics (Pegasystems Inc., 2019). In fact, despite the spread and improvements of AI agents, those obstacles persist in the adoption and use of personal assistants (Cuadra, Rase; 2018). Trust research in information technology is currently a hot topic: this increased interest might be due to the consequences this technology is bringing. Trust in technology is complex, variegated and many elements can be taken into consideration depending on the context. In technology and computer systems exist the same problems of expectation, of willingness to be vulnerable and of possible negative outcome (Hall, 2010). Trust is a prerequisite of human-human interaction: humans feel the need to have a more predictable environment and understand others’ intentions and motivations. In order to interact even in less predictable contexts and circumstances, people apply different strategies, which are found to be similar in Human-Computer-Interaction. Trust plays a fundamental role in technology because it is a “primary predictor” for use of technology (Li et al., 2008), increases adoption rates (De Kruijff, 2018) and the acceptance of the computer system (Parasuraman & Riley, 1997). According to some researchers, trust is about relationship, and as being a social construct, AI lacks intrinsic qualities needed to lead to trust. This current work explores different models and research about psychological trust applied to Human-Agent-Interaction in order to find strategies to build trust in this technology. This was combined with an investigation about users’ perceptions and experience with a voice activated assistant and reported trust (in this case Amazon Alexa) in two different interaction modalities. The problem was addressed with a literary review to understand the different approaches of “Trust research” and “AI Agent factors that contributes to trust”, which were further analyzed in a research with 12 participants. The aim was to figure out if trust relationship between Human-agent-interaction was depending on personal, environmental (contextual) or related to a specific device factor. The result of the research identifies the projects elements that are useful to build a trustworthy relationship; the thesis also provides a set of guidelines for designing and build trust in a first-time interaction scenario.

Nonostante la cospicua crescita nell’utilizzo dei sistemi di intelligenza artificiale e degli agenti di intelligenza artificiale, è stato scoperto che le persone non si fidano ancora dell'IA. Ci sono molte spiegazioni a questo fenomeno, in generale le persone preferiscono ancora il contatto umano (specialmente nel Customer service), non si sentono a proprio agio ad interagire con l'IA, sono preoccupate per i propri dati personali e privacy, credono che il sistema non abbia alcuna moralità / etica e faccia un uso improprio dei loro dati personali (Pegasystems Inc., 2019). Nonostante la diffusione e il miglioramento degli assistenti vocali, questi ostacoli persistono nell’adozione e l’uso (Cuadra, Rase; 2018). La ricerca sulla fiducia in informatica è tema molto attuale nel campo informatico un tema caldo: questo crescente interesse potrebbe essere dovuto alle conseguenze che questa tecnologia sta portando. Il concetto di fiducia nella tecnologia è complesso, variegato e molti elementi possono essere presi in considerazione a seconda del contesto d’applicazione. Nella tecnologia e nei sistemi informatici esistono gli stessi problemi di aspettativa, disponibilità ad essere vulnerabili e possibili esiti negativi (Hall, 2010). La fiducia è un prerequisito dell'interazione uomo-uomo: l'essere umano ha il bisogno di avere un ambiente prevedibile e di comprendere le intenzioni e le motivazioni del comportamento degli altri. Per interagire anche in contesti e circostanze meno prevedibili, le persone applicano strategie simili anche nell'interazione uomo-computer. La fiducia gioca un ruolo fondamentale nella tecnologia perché è un "predittore primario" per l'uso della tecnologia (Li et al., 2008), aumenta i tassi di adozione (De Kruijff, 2018) e l'accettazione di un sistema informatico (Parasuraman & Riley, 1997). Secondo alcuni ricercatori, la fiducia riguarda le dinamiche relazionali e in quanto costrutto sociale, non è possibile costruire una relazione di fiducia nei confronti dell'IA essendo priva delle qualità intrinseche necessarie. Questo lavoro esplora i diversi modelli e ricerche sulla fiducia in senso psicologico applicato in ambito Human-Agent-Interaction, per trovare le strategie per costruire una relazione di fiducia negli agenti. Questo è stato combinato ad un’investigazione sulla percezione, l’esperienza e la fiducia riposta in un assistente vocale (in questo caso Amazon Alexa) in due diverse modalità d’interazione. Il problema è stato affrontato attraverso un’analisi della letteratura per comprendere i diversi approcci di ricerca legati alla “fiducia”, “ai fattori dell’agente che contribuiscono alla fiducia” ed è stato analizzato in una ricerca con 12 partecipanti. Lo scopo era quello di comprendere i fattori personali, contestuali o relativi a fattori specifici nella costruzione della fiducia tra utente e assistente vocale. Il risultato della ricerca individua gli elementi di progetto utili a costruire una relazione di fiducia; la tesi ha prodotto inoltre linee guida per la progettazione orientata alla costruzione fiducia in uno scenario di prima interazione.