Annotation-based, automatic generation of conversational agents for conversational Web browsing of static site

The thesis introduces what we call Conversational Web Browsing, i.e. a dialog based natural language interaction with a web site. The goal is to enable a users to use contents and functionalities accessible through rendered user interfaces (UI) by "talking to websites" instead of by operating on the graphical UI using keyboard and mouse. In this thesis, we describe the foundations of our approach and show how to generate a conversational agent (CA) out of website equipped with a simple, bot-specific HTML annotations useful for making the page content accessible for the CA. The CA mediates between the user and the website, operates its graphical UI on behalf of the user, and informs the user about the state of interaction. We describe the annotation format, the supporting conversational middleware, and the implementation of a demo able to deliver conversational web browsing experiences through Amazon Alexa.

La tesi vuole introdurre ciò che noi abbiamo definito come Conversational Web Browsing (Navigazione Web Conversazionale), cioè interagire con un sito web dialogando con esso in linguaggio naturale. L'obbiettivo è di permettere ad un utente di usare i contenuti e le funzionalità accessibili attraverso il sito "parlando" con esso invece di operare sulla sua interfaccia grafica usando il mouse e la tastiera. In questa tesi descriviamo il nostro approccio al problema, fornendo un architettura software che permette tutto ciò. Inoltre mostriamo come generare in modo automatico un agente di conversazione(o bot) per un sito web arricchito con semplici annotazioni, utili per rendere la pagina accessibile al bot. Il bot si interpone come mediatore tra l'utente e il sito web, cioè opera sull' interfaccia grafica del sito per conto dell'utente e lo informa sullo stato della navigazione. In questa tesi decriviamo il format dell'annotazione, l'architettura del middleware per la conversazione e l'implementazione di una demo capace di fornire un esperienza di navigazione tramite conversazione attraverso l'uso di Amazon Alexa.