Designing and validating conversational agents for data exploration

A chatbot is a conversational agent that simulates a conversation with human users in natural language, through text or voice messages. This Thesis analyzes and extends the functionality of a framework for the rapid prototyping of Chatbots for Data Exploration. This framework is based on the conceptual representation of data sources and uses modeling abstractions to allow the chatbot designer to determine the key elements of the conversation; starting from these specifications, the framework automatically generates a chatbot that is able to converse with the users to let them explore data. The contributions of this Thesis are: • An analysis of the existing framework, also based on a preliminary user study, with the goal of identifying elements to be improved; • The design of extensions and improvements, in particular to the conversation flow and to the Natural Language Understanding (NLU) component; • A prototype of the updated framework. Moreover, we conducted a comparative study to test the performance of a chatbot generated with the framework, analyzing how database experts using the chatbot perform compared to non-expert users and how their performance on the chatbot compares to traditional methods of querying data such as SQL.

Un chatbot è un agente software che simula una conversazione con utenti umani in linguaggio naturale, attraverso messaggi di testo o vocali. Questa tesi analizza ed estende le funzionalità di un framework per la prototipazione rapida di Chatbot per l’Esplorazione di Dati. Questo framework si basa sulla rappresentazione concettuale delle basi di dati e utilizza astrazioni di modellazione per consentire al designer del chatbot di determinare gli elementi chiave della conversazione; partendo da queste specifiche, il framework è in grado di generare automaticamente un chatbot in grado di dialogare con l’utente per esplorare i dati. I contributi di questa tesi sono: • Una analisi del framework pre-esistente, anche tramite uno studio preliminare con un campione di utenti, per individuare gli aspetti da migliorare; • Le estensioni e i miglioramenti apportati al framework, in particolare al flusso di conversazione e alla componente di comprensione del linguaggio naturale (NLU); • Un prototipo del framework aggiornato. Inoltre abbiamo condotto uno studio comparativo per valutare le prestazioni di un chatbot generato con il framework, analizzando come gli esperti di database che utilizzano il chatbot si comportano rispetto agli utenti non esperti e come le loro prestazioni sul chatbot si possono confrontare con i metodi tradizionali di interrogazione dei dati come SQL.