Exploring natural language understanding for developing a conversational agent to support data science tasks on genomic data

A task-oriented conversational agent is a software system intended to conduct a conversation with a human user (by interpreting and responding to statements in natural language), in order to assist her/him in achieving a certain goal. This Thesis analyzes and extends GeCoAgent, a complex task-oriented conversational agent equipped with a multi-modal user interface and a repository of genomics experiments, whose aim is to allow biologists and geneticists, even with limited computational skills, to perform data science analyses on genomic datasets. The current version of GeCoAgent relies on a Dialogue Manager (the component that determines how to reply to each message of the user) that is based on a fixed, static and complete representation of the conversation, in which any accepted path has been modelled. Although very solid, such approach presents dome drawbacks. Firstly, the dialogues between the user and the agent are sometimes unnecessary long, in terms of exchanged messages. More importantly, this representation hinders the scalability of the system, as any new conversation path has to be designed and programmed. In this Thesis I propose a new Dialogue Manager for GeCoAgent based on a data-driven approach, in which a corpus of conversations is used to train a predictive model. To answer to a new message, the agent uses the trained model to predict the most appropriate response. The main benefit is that conversation paths which were not considered in the design phase can now be successfully handled by the agent. Along with the requirement analysis and the design choices, I present and discuss the methods and tools I have used to implement the proposed solution, highlighting the main challenges and innovation opportunities. Finally, I report and analyze the outcome of a user study involving ten participants, including biologists and bioinformaticians, which I have conducted for testing the efficacy of GeCoAgent based on the new dialogue manager.

Un agente conversazionale task-oriented è un genere di software che ha il compito di condurre una conversazione con una persona, interpretando e rispondendo alle sue frasi con il linguaggio naturale, in modo da aiutarla nel raggiungere un certo obbiettivo. Questa tesi analizza e estende GeCoAgent, un agente conversazionale complesso dotato di una interfaccia multi modulare e un repository di esperimenti genomici, il cui obiettivo è permettere a biologi e genetisti, anche se con conoscenze informatiche limitate, di eseguire avanzate analisi di dati su datasets genomici. L'attuale versione di GeCoAgent si appoggia a un Dialogue Manager (la componente che determina come rispondere ai messaggi dell'utente) che è basata su una fissa, statica e completa rappresentazione della conversazione, in cui ogni percorso accattato deve essere prima modellizato. Nonostante sia molto robusto, questo tipo di approccio presenti alcuni svantaggi. Prima di tutto, il dialogo tra l'utente e l'agente risulta essere alcune volte lungo, in maniera non naturale, in termini di messaggi scambiati. Più importante però, questo tipo di rappresentazione ostacola la scalabilità del sistema poiché ogni nuovo genere di percorso conversazione deve essere prima pianificato e programmato. In questa Tesi propongo quindi un nuovo Dialogue Manager per GeCoAgent basato su un approccio data-driven, in cui il corpus della conversazione è usato per trainare un modello predittivo. Per rispondere a un nuovo messaggio dell'utente, l'agente usa un modello che viene trainato per predirre la risposta più accurata. Il più grande beneficio è legato al fatto che i percorsi non considerati in fase di pianificazione possono ora essere gestiti correttamente dall'agente. Assieme all'analisi dei requisiti e alle scelte progettuali, viene mostrato e discusso il metodo e gli strumenti usati per implementare la soluzione proposta, sottolineano le sfide principali e le opportunità di innovazione. Infine, è riportato e analizzato il risultato di uno studio condotto su dieci partecipanti, che includono biologi e bioinformatici, che è stato condotto per testare l'efficacia di GeCOAgent basato sul nuovo Dialogue Manager.