Integrating LLMs in the Conversational Web Browsing pipeline

The widespread use of visual design on the web poses challenges for visually impaired individuals in accessing and navigating content. While assistive technologies like screen readers offer basic information access, they often fail to capture the full richness and smooth navigation of the web experience. The Conversational Web framework (ConWeb) was developed with the goal of enabling access to web page information through a conversational approach, allowing users to interact with page content via dialogue. In recent years, there has been significant development and growing interest in Large Language Models (LLMs), which appear to be highly beneficial in various fields and use cases, including accessibility. This work aims to analyze and understand how LLMs can be leveraged and utilized in the context of conversational web interfaces. The work presented starts with an analysis of the state of the art in the field of LLMs and the architecture of the ConWeb framework. Specific areas within this architecture were identified where improvements could be made using these advanced models. Interventions and implementations of the selected models were carried out within the identified software components. The findings demonstrate that the use of LLMs can greatly enhance users' experience in accessing information from web pages. Although there are some downsides to employing LLMs, it is likely that these issues will be mitigated soon given the rapid development and evolution of this technology. The field of LLMs is very promising and could represent a significant breakthrough for accessibility, opening new perspectives for a more inclusive and equitable web browsing.

L'uso diffuso del design visuale sul web pone sfide significative per non vedenti ed ipovedenti nell'accesso e nella navigazione dei contenuti. Sebbene le tecnologie assistive come gli screen reader offrano un accesso di base alle informazioni, spesso non riescono a catturare la ricchezza e fluidità della navigazione web. Il Conversational Web framework (ConWeb) è stato sviluppato con l'obiettivo di rendere le informazioni delle pagine web accessibili attraverso un approccio conversazionale, permettendo agli utenti di interagire con i contenuti tramite dialoghi. Negli ultimi anni, abbiamo assistito a uno sviluppo significativo e a un crescente interesse per i Large Language Models (LLMs), che si sono rivelati altamente benefici in vari campi e casi d'uso, accessibilità inclusa. Questo lavoro si propone di analizzare e comprendere come i LLMs possano essere sfruttati e utilizzati nel contesto delle interfacce web conversazionali. Il lavoro presentato parte da un'analisi dello stato dell'arte nel campo dei LLMs e dell'architettura del framework ConWeb. Sono state identificate aree specifiche all'interno di questa architettura in cui l'integrazione dei LLM potrebbe apportare significativi miglioramenti. Sono stati quindi eseguiti interventi e implementazioni dei modelli selezionati nei componenti software individuati. I risultati hanno dimostrato che l'uso dei LLM può migliorare notevolmente l'esperienza degli utenti nell'accesso alle informazioni delle pagine web. Sebbene esistano alcuni svantaggi nell'impiego dei LLM, è probabile che questi problemi saranno presto mitigati grazie al rapido sviluppo ed evoluzione di questa tecnologia. Il mondo dei LLM è estremamente promettente e potrebbe rappresentare una svolta significativa per l'accessibilità, aprendo nuove prospettive per una navigazione web più inclusiva ed equa.