Automated remediation of mobile accessibility barriers for blind users via LLM-based multi-agent systems

Mobile applications have become essential to everyday life, yet they still present significant accessibility barriers for blind users, who rely on screen readers to interact with digital interfaces. Although automated tools have considerably improved the detection of accessibility issues, their remediation remains a major challenge because it requires contextual understanding, semantic reasoning, and accessibility expertise. Large Language Models (LLMs) offer promising capabilities for automated software repair thanks to their ability to understand code and natural language. However, single-model approaches frequently suffer from hallucinations, reasoning inconsistencies, and role drift, limiting their reliability in real-world remediation tasks. This thesis presents an LLM-based Multi-Agent System (MAS) designed to autonomously resolve accessibility barriers in Android applications. Following a Locate-Suggest-Fix paradigm, the remediation workflow is distributed among a collaborative team of specialized autonomous agents. The system combines input validation, accessibility analysis, code repair, and iterative self-validation through dedicated agents. To support consistent decision-making, it also introduces an Accessibility Rule Book that formalizes remediation strategies for static and dynamic accessibility barriers affecting blind users while explicitly addressing the risk of auditory clutter. The proposed MAS was evaluated across diverse Android development frameworks, including XML/Java, Jetpack Compose, and Flutter, using state-of-the-art models on artificial, semi-artificial, and real-world testing scenarios. Experimental results show that the architecture consistently generated syntactically valid code patches, maintained a low output rejection rate, and outperformed single-LLM baselines in terms of reliability and remediation quality. Overall, the findings suggest that combining specialized agents with structured validation mechanisms can provide an effective and scalable approach to automated accessibility remediation in mobile applications.

Le applicazioni mobili sono diventate strumenti essenziali nella vita quotidiana, ma continuano a presentare importanti barriere di accessibilità per gli utenti non vedenti, che interagiscono con le interfacce digitali attraverso screen reader. Sebbene gli strumenti automatici abbiano fatto enormi passi avanti nel rilevare queste problematiche, la loro risoluzione rappresenta ancora una sfida significativa, poiché richiede comprensione del contesto, ragionamento semantico e competenze specifiche di accessibilità. I Large Language Models (LLMs) offrono interessanti opportunità per la riparazione automatica del software grazie alla loro capacità di comprendere codice e linguaggio naturale. Tuttavia gli approcci basati su un singolo modello soffrono frequentemente di allucinazioni, incoerenze nel ragionamento e perdita del ruolo assegnato, limitandone l'affidabilità in scenari reali. Questa tesi presenta un Sistema Multi-Agente (MAS) basato su LLM per la risoluzione automatica di problemi di accessibilità in applicazioni Android. Adottando il paradigma Locate-Suggest-Fix, il processo di remediation viene suddiviso tra agenti specializzati, responsabili della validazione dell'input, dell'analisi delle problematiche, della modifica del codice e della verifica dei risultati. Viene inoltre introdotto un Accessibility Rule Book, che formalizza le strategie di risoluzione di problematiche statiche e dinamiche relative agli utenti non vedenti, includendo linee guida per prevenire fenomeni di inquinamento acustico. Il sistema è stato valutato su diversi framework di sviluppo Android utilizzando modelli LLM all'avanguardia su scenari di test artificiali, semi-artificiali e reali. I risultati mostrano che l'architettura genera costantemente patch sintatticamente corrette, mantiene un basso tasso di rigetto degli output e supera le baseline basate su singoli LLM in termini di affidabilità e qualità delle correzioni proposte. Nel complesso, i risultati suggeriscono che la combinazione di agenti specializzati e meccanismi strutturati di autovalidazione rappresenti un approccio efficace e scalabile per l'automazione della riparazione dell'accessibilità nelle applicazioni mobili.