Designing the integration of conversational AI with web architectures

Everyone should be enabled to access the Web. Individuals who are blind or have visual impairments, elderly people, or users who are unable to use their hands or eyes in a specific context should access the Web. Nowadays, assistive technologies, and in particular screen readers can help users access Web information through channels that are different from the visual one, e.g., by voice and hearing; nevertheless, the resulting access paradigm is very complicated even for those users, e.g., blind and visually impaired individuals, who spend years and many efforts to learn how to use these technologies. In addition to the intrinsic complexity that characterize the fruition of Web content through screen readers, accessibility guidelines are not completely fulfilled in the majority of websites, and this lack causes severe problems when a screen reader has to interpret and read the website content. Voice-based conversational assistants, e.g., Alexa, could aid in the discovery of punctual Web information responding to basic inquiries. However, they are not able to fully support navigation of a website. Given these lacks, this thesis aims to provide a new way to access the Web and navigate it using voice commands. The idea is to enable users to navigate content and services accessible on the Web by “talking to websites” instead of browsing them visually, by expressing their goals in natural language and accessing websites through a dialog mediated by a Conversational Agent (e.g., a voice-based browser plugin or a Web interface). This paradigm is enabled by a Web platform, the Conversational Web Framework (ConWeb) that, thanks to the integration of Conversational AI technologies, is able to handle a conversational user experience for browsing the Web. The dialogues supported by ConWeb are based on a set of conversational patterns defined with and for blind and visually impaired users. Nevertheless, the framework aims to be accessible and useful to a wide range of people with varying requirements and situations. The goal of this work is to propose an approach that can benefit people universally, and has a potential that will impact Web Engineering in the coming years.

Chiunque dovrebbe avere la possibilità di accedere al Web. Individui con disabilità visive, persone anziane, o utenti che in un determinato momento non sono in grado di usare i propri occhi o le mani, dovrebbero averne accesso. Oggigiorno, le tecnologie assistive per il Web, e in particolare gli screen readers, possono aiutare gli utenti ad accedere al Web in modo differente da quello visuale, e.g., con la voce e l'udito; tuttavia, risulta essere complicato anche per coloro, e.g., persone senza vista o con disabilità visive, che spendono anni a imparare come usare queste tecnologie impiegando numerosi sforzi. Inoltre, in aggiunta alla complessità che caratterizza questi strumenti, le linee guida di accessibilità non sono quasi mai soddisfatte dalla maggioranza dei siti Web, e questa mancanza causa numerosi problemi agli screen readers che devono interpretarne il contenuto. Agenti conversazionali basati sull'utilizzo della voce, e.g., Alexa, possono aiutare a ottenere informazioni dal Web rispondendo a semplici domande. Tuttavia, questi agenti non sono in grado di supportare la navigazione su questi stessi siti. Lo scopo di questa tesi è fornire un nuovo paradigma di accesso al Web per navigarlo tramite comandi vocali. L'idea è di consentire di navigare il contenuto e i servizi presenti nel Web "parlando coi siti Web" invece che navigandoli visivamente; esprimendosi in linguaggio naturale e accedendo tramite un dialogo gestito da un Agente Conversazionale (e.g., plugin di un browser o un'interfaccia Web apposita). Questa idea è possibile grazie a ConWeb, un framework conversazionale in grado, grazie all'integrazione con Intelligenza Artificiale Conversazionale, di gestire un'esperienza di navigazione orientata a una conversazione con l'utente. I dialoghi supportati da ConWeb sono basati su linee guida identificate da persone non vedenti e con disabilità visive. Inoltre, il framework vuole essere accessibile e utile per numerose persone con diverse esigenze. Lo scopo del nostro lavoro è di proporre un approccio che possa aiutare tutte le persone a poter accedere al Web e abbia un potenziale per influenzare l'ingegneria del Web negli anni a venire.