Leveraging accessible design toolkits and AI for the inclusivity of individuals with intellectual disability in IoT programming

This thesis investigates the design of accessible toolkits aimed to engage people with intellectual disabilities (ID) in ideating and personalizing Internet of Things (IoT) technologies. My research lies at the intersection between technology, inclusion, and user empowerment, focusing on designing tangible user interfaces (TUIs) and collaborative methods that enhance the engagement and autonomy of people with ID. The context of this research is rooted in the increasing importance of digital literacy and technology accessibility in contemporary society. Individuals with ID are often excluded from the digital transformation due to the complexity of technology and the need for appropriate educational tools. The development of IoT technologies has the potential to significantly improve the quality of life for individuals with ID by enabling them to control and personalize their environment. However, the complexity of these technologies presents a barrier. This thesis aims to bridge this gap by developing toolkits that simplify the creation and personalization of IoT devices for users with ID. The primary contributions include designing and validating two innovative toolkits, IoTgoID and MakeNodes, which combine physical and digital elements to facilitate the understanding and creation of smart devices by ID users. IoTgoID is a modular toolkit that allows users to create IoT devices through simple, intuitive interactions with tangible components. MakeNodes extends this concept by providing a more flexible platform that integrates various sensors and actuators, enabling users to build customized IoT solutions. Through extensive user studies and iterative design processes, this thesis demonstrated how these toolkits can positively impact the well-being and social inclusion of individuals with ID. Engaging end-users in the process of making these toolkits empowers them to take control of their environment, fostering a sense of accomplishment and self-efficacy. In addition, this thesis investigates how large language models (LLMs), such as GPT-4, can enhance coding accessibility for individuals with ID by generating code from natural language prompts. This approach aims to lower coding barriers, enabling greater participation in technology creation and leveraging AI to enhance the inclusivity of people with ID in IoT programming. The findings of this thesis underscore the importance of user-centered design and the potential of AI-based tools to democratize access to technology. By focusing on the needs and abilities of ID users, the research contributes to developing more inclusive and empowering technologies. The main outcomes of this thesis consist of design guidelines and recommendations for people with ID inclusion in the technology process, emphasizing the need for continued collaboration between stakeholders, researchers, and communities of people with disability to create tools that enhance the participation and agency of individuals with ID in the modern digital era.

Questa tesi esplora la progettazione di toolkit accessibili volti a coinvolgere persone con disabilità intellettiva (DI) nell’ideazione e personalizzazione di tecnologie Internet of Things (IoT). La mia ricerca si colloca all’intersezione tra tecnologia, inclusione ed empowerment degli utenti, concentrandosi sulla progettazione di interfacce utente tangibili (IUT) e metodi collaborativi che favoriscano il coinvolgimento e l’autonomia delle persone con DI. Il contesto di questa ricerca è radicato nell’importanza crescente dell’alfabetizzazione digitale e dell’accessibilità tecnologica nella società contemporanea. Le persone con DI sono spesso escluse dalla trasformazione digitale a causa della complessità delle tecnologie e della mancanza di strumenti educativi adeguati. Lo sviluppo delle tecnologie IoT ha il potenziale di migliorare significativamente la qualità della vita delle persone con DI, consentendo loro di controllare e personalizzare il proprio ambiente. Tuttavia, la complessità di queste tecnologie rappresenta una barriera. Questa tesi mira a colmare questa lacuna proponendo toolkit che semplificano la creazione e la personalizzazione dei dispositivi IoT per utenti con DI. I contributi principali includono la progettazione e validazione di due toolkit innovativi, IoTgoID e MakeNodes, che combinano elementi fisici e digitali per facilitare la comprensione e la creazione di dispositivi smart da parte degli utenti con DI. IoTgoID è un toolkit modulare che permette agli utenti di creare dispositivi IoT attraverso interazioni semplici e intuitive con componenti tangibili. MakeNodes estende questo concetto offrendo una piattaforma più flessibile che integra vari sensori e attuatori, consentendo agli utenti di costruire soluzioni IoT personalizzate. Attraverso ampi studi con utenti e processi di progettazione iterativi, questa tesi ha dimostrato come questi toolkit possano avere un impatto positivo sul benessere e sull’inclusione sociale delle persone con DI. Coinvolgere direttamente gli utenti nel processo di creazione di questi toolkit permette loro di prendere il controllo del proprio ambiente, favorendo un senso di realizzazione e di autosufficienza. Inoltre, questa tesi indaga come i Large Language Models (LLM), come GPT-4, possano migliorare l’accessibilità alla programmazione per le persone con DI generando codice a partire da istruzioni in linguaggio naturale. Questo approccio mira a ridurre le barriere legate alla programmazione, favorendo una maggiore partecipazione alla creazione tecnologica e sfruttando l’intelligenza artificiale (IA) per rendere più inclusiva la programmazione IoT per le persone con DI. I risultati di questa tesi sottolineano l’importanza della progettazione centrata sull’utente e il potenziale degli strumenti basati sull’IA nel democratizzare l’accesso alla tecnologia. Concentrandosi sui bisogni e sulle capacità degli utenti con DI, la mia ricerca contribuisce allo sviluppo di tecnologie più inclusive e orientate all’empowerment dell’utente finale. Gli esiti principali di questa tesi consistono in linee guida progettuali e raccomandazioni per l’inclusione delle persone con DI nei processi tecnologici, enfatizzando la necessità di una collaborazione continua tra stakeholder, ricercatori e comunità di persone con DI per creare strumenti che aumentino la partecipazione e l’autonomia delle persone con DI nell’era digitale moderna.