Conversational user interfaces for an inclusive web: from guidelines to design methods and development tools

This research investigates how conversational interaction should be designed to enhance web accessibility for blind and visually impaired (BVI) users. Currently, despite accessibility standards the web remains often not accessible for BVI users. Furthermore especially in complex tasks such as form filling, even when technical accessibility is met, the literature documents multiple usability challenges faced by BVI users on the web. These challenges include making sense of what is available on the page, understanding what is possible to do, or re-finding information. Conversational AI, could offer an alternative paradigm to access the web. However, conversational web browsing remains an understudied task in the field of conversational interaction and current guidelines have yet to be tested on it. This work contributes to the advancement of the state of the art in conversational interaction by providing conversational interaction designers and developers with a new methodological approach to design conversationally accessible websites. As an initial step towards a design methodology in this area, this thesis introduces a design framework and a set of guidelines for inclusive conversational interaction with web content, grounded in established accessibility principles, informed by the perspectives of blind and visually impaired (BVI) users, and tested with practitioners (i.e., designers and developers) to assess their usability in a practical setting. Practitioners can use the methodological tools presented in this work to understand how to structure conversational interaction and translate it into web-design choices. Since the guidelines are grounded in accessibility principles, this methodology poses itself as an accessibility-first methodology to design conversational web interactions. To achieve this, first, existing web accessibility and conversational interaction guidelines, were mapped and analyzed to identify gaps. Then, the selected guidelines were refined through workshops involving designers and developers. Building on this foundation, a prototype LLM-driven conversational agent, ConWeb, was developed and evaluated with BVI participants, to elicit new requirements for navigation, data entry, and input verification. Lastly, to bridge the gap between guidelines and practice, the research further explores how AI coding assistants can be augmented with conversational accessibility guidelines to support developers, deriving initial requirements for tools that facilitate the creation of conversationally accessible websites.

Questa tesi affronta la progettazione dell'interazione conversazionale per migliorare l'accessibilità del web per gli utenti ciechi e ipovedenti. Attualmente, nonostante gli standard di accessibilità, il web rimane spesso inaccessibile agli utenti ciechi e ipovedenti. Inoltre, soprattutto per quanto riguarda attività complesse come la compilazione di moduli, anche quando l'accessibilità tecnica è garantita, la letteratura documenta molteplici problemi di usabilità che gli utenti ciechi e ipovedenti devono affrontare sul web. Queste difficoltà includono la comprensione del contenuto disponibile e di ciò che è possibile fare sulla pagina, o la ricerca delle informazioni. L'Intelligenza Artificiale conversazionale potrebbe offrire un paradigma alternativo per accedere al web. Tuttavia, la navigazione web conversazionale rimane un'attività poco studiata nel campo dell'interazione conversazionale e le attuali linee guida devono ancora essere testate su di essa. Questo lavoro contribuisce al progresso dello stato dell'arte nell'interazione conversazionale, fornendo ai progettisti e agli sviluppatori di interazioni conversazionali un nuovo approccio metodologico per progettare siti web accessibili dal punto di vista conversazionale. Come primo passo verso una metodologia di progettazione in questo settore, la presente tesi introduce un framework progettuale e delle linee guida per un'interazione conversazionale inclusiva con i contenuti web, basati su principi di accessibilità consolidati, elaborati sulla base delle prospettive degli utenti ciechi e ipovedenti e testati con professionisti del settore (ovvero designer e sviluppatori) per valutarne l'usabilità in un contesto progettuale. I professionisti possono utilizzare gli strumenti metodologici presentati in questo lavoro per comprendere come strutturare l'interazione conversazionale e tradurla in scelte di progettazione web. Poiché le linee guida si basano sui principi di accessibilità, questa metodologia si propone di offrire un metodo per la progettazione di interazioni web conversazionali intrinsecamente accessibile. Per raggiungere questo obiettivo, dapprima sono state mappate e analizzate le linee guida di accessibilità web e interazione conversazionale, al fine di identificare le lacune. Successivamente, le linee guida selezionate sono state perfezionate attraverso workshop che hanno coinvolto designer e sviluppatori. Partendo da queste basi, è stato sviluppato un prototipo di agente conversazionale basato su LLM, ConWeb, che è stato valutato con i partecipanti ciechi e ipovedenti per individuare nuovi requisiti in materia di navigazione, immissione dati e verifica degli input. Infine, per colmare il divario tra le linee guida e la pratica, questa ricerca affronta come gli assistenti di codifica AI possano essere potenziati con linee guida sull'accessibilità conversazionale per supportare gli sviluppatori. Si propongono, quindi, i requisiti iniziali per strumenti che facilitino la creazione di siti web accessibili dal punto di vista conversazionale.