A model and an authoring tool for multimodal conversational agents

With the advancements in natural language processing techniques, the popularity of chatbots is at an all-time high. Conversational Agents are everywhere and have swiftly taken the public. The ubiquity of Conversational Agents was directly followed by a surge in the commercialization of tools that, with little to no programming, allow anyone to create customized plug-and-play agents. On the other hand, Multimodal Conversational Agents (MCA), which are chatbots employed side-by-side with one or more modes of interaction, do not benefit from a generation tool made with this type of interaction in mind. After pinpointing the gap in the available tools, our research focuses on identifying the stakeholders of this issue, who may potentially be the solution's primary users and around whose needs the rest of the work would grow. As a potential solution to this issue, our effort concentrated on developing a model to describe the behavior of MCAs. This model is built on a process and a task level. The process level represents the logical, high-level definition of the system made of logical blocks that define a specific behavior called tasks. That behavior is modeled as a state machine at the task level. Based on the developed model, an authoring tool to generate MCAs was implemented. This tool receives the modelization of the application one wishes to generate as input and returns a backend with a trained agent, both based on the specifications of the user. Finally, an evaluation of the tool was performed through user testing. Fifteen users participated in the study and were asked to model a system with a set of given features. With 100% success and adoptability rates and a usability score of 83.3, the tool received encouraging feedback from its users and was praised for its simplicity and effectiveness. The presented model and tool provide an initial easy-to-use approach to the authoring of Multimodal Conversational Agents, effectively enabling users to create more complex and adaptable agents effortlessly.

Con gli avanzamenti nel campo dell'elaborazione del linguaggio naturale, la popolarità dei chatbot ha raggiunto i suoi massimi storici. Gli Agenti Conversazionali sono ovunque e hanno rapidamente conquistato il pubblico. L'ubiquità degli Agenti Conversazionali è stata immediatamente seguita dalla commercializzazione di strumenti che permettono a chiunque di creare agenti personalizzati richiedendo poca programmazione. D'altro canto, Agenti Conversazionali Multimodali (MCA), ovvero chatbot utilizzati insieme ad una o più modalità di interazione, non beneficiano di alcuno strumento realizzato con questo tipo di interazione in mente. Dopo aver individuato una mancanza nei tool disponibili, la ricerca di questa tesi identifica i principali utenti interessati da questa mancanza, che sono i potenziali utilizzatori della soluzione, e intorno ai cui bisogni si sviluppa questo lavoro. Come soluzione a questa mancanza, il nostro lavoro si è concentrato sullo sviluppo di un modello in grado di descrivere il comportamento di MCA. Questo modello è costituito da due livelli denominati rispettivamente process e task. Il livello process rappresenta la definizione logica e di alto livello del sistema ed è costituito da blocchi logici che indicano un comportamento, chiamati task. Il comportamento dei task è modellato tramite una macchina a stati al livello del task. Partendo dal modello sviluppato, è stato implementato un tool di generazione di MCA. Il tool riceve in ingresso il modello dell'applicazione che si desidera generare e restituisce un backend che include un agente addestrato, entrambi basati sulle specifiche dell'utente. Infine, il tool è stato valutato tramite test con utenti. Quindici utenti hanno partecipato allo studio e hanno modellato un sistema partendo da specifiche fornite. Con una percentuale di successo e di adottabilità del 100%e un punteggio di usabilità di 83.3, il tool ha ricevuto feedback incoraggianti dagli utenti ed è stato elogiato per la sua semplicità ed efficacia. Il modello ed il tool presentati costituiscono un approccio di semplice utilizzo per la descrizione e generazione di Agenti Conversazionali Multimodali, permettendo dunque agli utenti di creare agenti più complessi e adattivi senza sforzo.