Web augmentation for coordinating conversational and visual experencies on the Web

The Web is now a very important resource for everyone and any individual should have access to it. However, information on the Web is primarily accessed visually, and this implies that blind or visually impaired people cannot have the same ease of navigation as sighted people. Behind traditionally adopted assistive technologies, e.g., screen readers, there are now solutions that take advantage of conversational AI and conversational agents, but still, they convey content in a manner that is far from being fluent, making content comprehension very difficult. Using voice as a channel for accessing information is certainly a viable solution, but without appropriate design reflections, the risk arises of excluding another category of people, namely those with dysarthria: a condition that prevents people from having full control of their speech muscles and makes it difficult to speak clearly. This condition makes it impossible to interact with current voice assistants. Dysarthria is often associated with other conditions involving a loss of full control of other muscles. This makes it difficult, and often impossible, to make sharp and punctual movements, such as moving the mouse across the screen to interact with various elements on the web page they are navigating; thus also navigation is difficult. Given the existence of these varying conditions and usage situations, this study proposes a new paradigm for navigating websites, which offers the opportunity to converse with websites to browse content and perform the necessary navigational actions, also coordinating the conversation with an augmented visualization of visual webpages highlighting content segments automatically identified by parsing the HTML code, and the vocal commands that can be used to select and read them. The studies conducted within this thesis work show that, although preliminary, this new paradigm introduces benefits for people living with dysarthria.

Il Web è ormai una risorsa troppo importante, tutte le persone dovrebbero potervi avere accesso. Tuttavia le informazioni nel web sono apprese principalmente in maniera visiva, questo implica che persone non vedenti o ipovedenti non possono usufruirne allo stesso modo. Esistono soluzioni che sfruttano assistenti vocali ma questi presentano il contenuto in una maniera tutt'altro che fluida rendendo difficile la navigazione e la comprensione dei contenuti. L'utilizzo della voce come canale di accesso alle informazioni è senz'altro una soluzione valida ma senza opportune riflessioni progettuali si ha il rischio di escludere un'altra categoria di persone, ovvero quelle affette da disartria: condizione che impedisce di avere il pieno controllo dei muscoli dell'eloquio rendendo difficile poter parlare chiaramente. Questa condizione rende impossibile l'interazione con gli attuali assistenti vocali. Alla disartria sono spesso associate altre condizioni che comportano una perdita del pieno controllo di altri muscoli. Ciò rende difficile, e spesso impossibile, compiere movimenti precisi come spostarsi con il mouse sullo schermo per interagire con i vari elementi della pagina in cui si sta navigando; quindi anche la navigazione risulta difficile. Data l'esistenza di queste diverse condizioni e situazioni d'uso, questo studio propone un nuovo paradigma per la navigazione dei siti web, che offre l'opportunità di conversare con i siti web per esplorarne i contenuti ed eseguire le azioni di navigazione necessarie, coordinando inoltre la conversazione con una visualizzazione aumentata delle pagine web che evidenzia i segmenti di contenuto, identificati automaticamente dall'analisi del codice HTML, e i comandi vocali che possono essere utilizzati per selezionarli e leggerli. Gli studi condotti nell'ambito di questo lavoro di tesi dimostrano che, seppur in via preliminare, questo nuovo paradigma introduce dei benefici per le persone affette da disartria.