Conversational web browsing : a heuristic approach to the generation of chatbots out of websites

Browsing the Internet is a task that may prove daunting when performed without the possibility to look at the screen of the device running the browser. This is an everyday issue for people with visual impairments, who usually rely on screen readers to interact with computer systems. Nowadays, voice-based voice assistants (VAs) are becoming increasingly popular, and are mostly used for trivial tasks, like controlling devices at home or checking the weather. We performed a literature review on these subjects and we realized that a chatbot, with the ability to browse the Internet by receiving voice commands through a voice assistant, could be greatly beneficial to visual impaired people. We are not talking only about people who are legally blind or have physical visual impairments, but also about people who are "situationally disabled", meaning that they are in a temporary situation in which they are not able to look at the browser, maybe because they are driving a car or cooking. We developed a prototype of such a chatbot, focusing on simplicity of use, navigation between web pages and extraction of the main content of a web page. The literature review showed that web developers often do not respect the web accessibility standards, ignoring the fact that screen reader users are greatly impacted by this, given that the difficulty in browsing a inaccessible web page with a screen reader grows substantially. Therefore, we decided to consider the worst case scenario in every web page we encounter, meaning that, even in the rare cases in which HTML accessibility tags were available and properly used, our system analysed the page without considering them. In order to test how well web pages could be analysed without relying on accessibility tags, we defined an algorithm working by using heuristics to identify the links belonging in the navigation menu of a web page, an important element that makes it easier to navigate through a website. Then we evaluated the results by testing the algorithm on 30 popular websites belonging to six different categories. The results showed that the algorithm was able to identify and extract 79% of the correct links, a satisfying result considered all the limitations that such an approach entails.

La navigazione in Internet è un'attività che può rivelarsi scoraggiante se eseguita senza la possibilità di guardare lo schermo del dispositivo che esegue il browser. Questo è un problema quotidiano per le persone con disabilità visive, che di solito si affidano agli screen reader per interagire con i sistemi informatici. Al giorno d'oggi, gli assistenti vocali (VA) basati sulla voce stanno diventando sempre più popolari e sono principalmente utilizzati per compiti banali, come controllare dei dispositivi domestici o per le previsioni del meteo. Abbiamo effettuato una revisione della letteratura su questi argomenti e ci siamo resi conto che un chatbot, con la capacità di navigare in Internet ricevendo comandi vocali tramite un assistente vocale, potrebbe essere di grande beneficio per le persone con problemi di vista. Non stiamo parlando solo di persone che sono legalmente cieche o con disabilità visive fisiche, ma anche di persone che sono "disabili situazionalmente", nel senso che si trovano in una situazione temporanea in cui non sono in grado di guardare il browser, ad esempio nel caso stiano guidando una macchina o cucinando. Abbiamo sviluppato un prototipo di tale chatbot, concentrandoci sulla semplicità d'uso, sulla navigazione tra le pagine Web e sull'estrazione dei contenuti principali di tali pagine. La revisione della letteratura ha mostrato che gli sviluppatori spesso non rispettano gli standard di accessibilità del web, ignorando il fatto che gli utenti che utilizzano screen reader ne siano fortemente influenzati, dato che la difficoltà di navigare in una pagina Web inaccessibile ad uno screen reader aumenta notevolmente. Pertanto, abbiamo deciso di considerare lo scenario peggiore in ogni pagina Web che incontriamo, nel senso che, anche nei rari casi in cui i tag di accessibilità HTML erano disponibili e utilizzati correttamente, il nostro sistema ha analizzato la pagina senza considerarli. Al fine di testare il modo in cui le pagine Web potrebbero essere analizzate senza basarsi sui tag di accessibilità, abbiamo definito un algoritmo che funziona utilizzando l'euristica per identificare i collegamenti appartenenti al menu di navigazione di una pagina Web, un elemento importante che facilita la navigazione attraverso un sito Web. Quindi abbiamo valutato i risultati testando l'algoritmo su 30 siti Web popolari appartenenti a sei diverse categorie. I risultati hanno mostrato che l'algoritmo è stato in grado di identificare ed estrarre il 79% dei collegamenti corretti, un risultato soddisfacente considerato tutti i limiti che comporta tale approccio.