HALLM: enhancing accessibility of LLM interfaces for blind and visually impaired users

Artificial Intelligence has profoundly transformed various aspects of our lives, redefining how we interact with technology on both personal and professional levels. Among the most significant advancements are Large Language Models, which have emerged as powerful, adaptable, and intuitive tools for information discovery. These models are increasingly becoming indispensable in supporting a wide array of everyday tasks, both professional and personal, enhancing productivity and convenience. Despite the remarkable capabilities of LLMs, the design of their user interfaces plays a pivotal role in ensuring that individuals who are blind or visually impaired can equally benefit from these technological advancements. Without accessible user interfaces, there is a risk of creating significant barriers for blind or visually impaired users, thereby exacerbating digital inequities and hindering their ability to fully benefit from such technologies. This thesis seeks to explore the challenges that blind or visually impaired users encounter when interacting with LLM platforms. It aims to identify and define the critical design elements that must be considered to build inclusive and accessible interfaces. Through a comprehensive analysis, this research will highlight the specific obstacles faced by these users and propose actionable design strategies to overcome them. Furthermore, the thesis will present "HALLM", a concrete example of a prototype we developed, demonstrating how the implementation of these design elements can significantly enhance the user experience for blind or visually impaired individuals.

L'Intelligenza Artificiale ha profondamente trasformato vari aspetti delle nostre vite, ridefinendo il modo in cui interagiamo con la tecnologia sia a livello personale che professionale. Tra i progressi più significativi ci sono i Large Language Models, che si sono affermati come strumenti potenti, adattabili e intuitivi per la scoperta di informazioni. Questi modelli stanno diventando sempre più indispensabili nel supportare una vasta gamma di attività quotidiane, sia professionali che personali, migliorando la produttività e la comodità. Nonostante le notevoli capacità dei LLM, il design delle loro interfacce utente gioca un ruolo cruciale nell'assicurare che le persone non vedenti o ipovedenti possano beneficiare equamente di questi progressi tecnologici. Senza interfacce utente accessibili, c'è il rischio di creare barriere significative per gli utenti non vedenti o ipovedenti, aggravando le disuguaglianze digitali e ostacolando la loro capacità di beneficiare pienamente di tali tecnologie. Questa tesi si propone di esplorare le sfide che gli utenti non vedenti o ipovedenti incontrano quando interagiscono con le piattaforme LLM, identificando e definendo gli elementi di design critici che devono essere considerati per costruire interfacce inclusive e accessibili. Attraverso un'analisi approfondita, questa ricerca evidenzierà gli ostacoli specifici affrontati da questi utenti e proporrà strategie di design attuabili per superarli. Inoltre, la tesi presenterà "HALLM", un esempio concreto di un prototipo che abbiamo sviluppato, dimostrando come l'implementazione di questi elementi di design possa migliorare significativamente l'esperienza utente per le persone non vedenti o ipovedenti.